Новые и старые пользователи Carbon Reductor часто просят дать рекомендацию по подбору оборудования, причём довольно таки конкретную.
Увы, тестированием большого количества разного железа в рамках компании мы заняться не можем, но хотя бы попробуем составить список уже используемого оборудования, которое ни разу не напрягало после соответствующих настроек.
{toc}
h1. Сетевые карты
Многие сетевые карты не могут до конца закрыть свой потенциал из коробки и часто приходится их немного тюнить. Не стоит считать что если вы засунули классную и дорогую 10гбит/с карту в сервер, то потерь точно не будет.
Однако после грамотной настройки на многих сетевых картах можно добиться очень высокой производительности.
|| Вендор || Модель || Тип || Число \\
очередей \\
(макс.) || Размер \\
буфера \\
(макс.) || Макс. наблюдавшаяся \\
нагрузка {color:#000000}{*}на 1 порт *{color}с \\
отсутствием потерь и \\
др. проблем || Проблемы ||
| Mellanox | MT27520 Family \\
\[ConnectX-3 Pro\] | 10 Гбит/сек | rx=128 | rx=8192 | 6.5 Гбит/сек | Число очередей может быть равным \\
только степени двойки, неоптимально \\
на 6-ядерных процессорах |
| Broadcom \\
Emulex | OneConnect 10Gb NIC (be3) \\
Device e729 | 10 Гбит/сек | combined=4 | rx=1024 \\
tx=2048 | 1 Гбит/сек | Малое максимальное число \\
очередей, малый размер rx-буфера. \\
Подойдёт для 800-900мбит/сек. \\
Нужно увеличивать параметр модуля \\
rx_frag_size *\** |
| Intel | 82599ES, 82599EB (2 порта) \\
82599EN (1 порт) | 10 Гбит/сек | combined=63 | rx=4096 \\
tx=4096 | 3.5 гбит/сек | Нужно [отключать опции LRO и GRO|http://docs.carbonsoft.ru/pages/viewpage.action?pageId=65799130]. \\
В остальном хороши, популярны, легко купить замену при \\
необходимости |
| Intel | I210, I211, I350 | 1 Гбит/сек | combined=8 | rx=4096 \\
tx=4096 | 800 мбит/сек | В некоторых ситуациях требует \\
пересборки драйвера без поддержки \\
LRO, в противных случаях зависает. |
| *НЕ* | *РЕКОМЕНДОВАННЫЕ* | *СЕТЕВЫЕ* | *КАРТЫ* | *ДЛЯ* | *ИСПОЛЬЗОВАНИЯ* | *В ПРОДАКШНЕ* |
| Intel | 80003ES2LAN, \\
I217-LM, I219-V | 1 Гбит/сек | other=1 | rx=4096 | ? | |
| VMware | VMXNET3 | 1 Гбит/сек | combined=? | rx=4096 | 0 мбит/сек | Виртуальные машины не способны предоставлять \\
гарантированную скорость реакции. Тем не менее \\
это один из лучших драйверов для виртуальных \\
сетевых карт. |
| Intel | 82574L | 1 Гбит/сек | | | | |
| Broadcom \\
Emulex | NetXtreme BCM5720 | 1 Гбит/сек | rx=4 \(?) | rx=2047 | | |
*\* увеличение rx_frag_size для Emulex*
{color:#333333}Из коробки иногда не хватает значения rx_frag_size, из-за чего растёт счётчик dropped пакетов, но решается очень просто:{color}
{code}
echo options be2net rx_frag_size=8192 > /etc/modprobe.d/be2net.conf
reboot
{code}
Увы, тестированием большого количества разного железа в рамках компании мы заняться не можем, но хотя бы попробуем составить список уже используемого оборудования, которое ни разу не напрягало после соответствующих настроек.
{toc}
h1. Сетевые карты
Многие сетевые карты не могут до конца закрыть свой потенциал из коробки и часто приходится их немного тюнить. Не стоит считать что если вы засунули классную и дорогую 10гбит/с карту в сервер, то потерь точно не будет.
Однако после грамотной настройки на многих сетевых картах можно добиться очень высокой производительности.
|| Вендор || Модель || Тип || Число \\
очередей \\
(макс.) || Размер \\
буфера \\
(макс.) || Макс. наблюдавшаяся \\
нагрузка {color:#000000}{*}на 1 порт *{color}с \\
отсутствием потерь и \\
др. проблем || Проблемы ||
| Mellanox | MT27520 Family \\
\[ConnectX-3 Pro\] | 10 Гбит/сек | rx=128 | rx=8192 | 6.5 Гбит/сек | Число очередей может быть равным \\
только степени двойки, неоптимально \\
на 6-ядерных процессорах |
| Broadcom \\
Emulex | OneConnect 10Gb NIC (be3) \\
Device e729 | 10 Гбит/сек | combined=4 | rx=1024 \\
tx=2048 | 1 Гбит/сек | Малое максимальное число \\
очередей, малый размер rx-буфера. \\
Подойдёт для 800-900мбит/сек. \\
Нужно увеличивать параметр модуля \\
rx_frag_size *\** |
| Intel | 82599ES, 82599EB (2 порта) \\
82599EN (1 порт) | 10 Гбит/сек | combined=63 | rx=4096 \\
tx=4096 | 3.5 гбит/сек | Нужно [отключать опции LRO и GRO|http://docs.carbonsoft.ru/pages/viewpage.action?pageId=65799130]. \\
В остальном хороши, популярны, легко купить замену при \\
необходимости |
| Intel | I210, I211, I350 | 1 Гбит/сек | combined=8 | rx=4096 \\
tx=4096 | 800 мбит/сек | В некоторых ситуациях требует \\
пересборки драйвера без поддержки \\
LRO, в противных случаях зависает. |
| *НЕ* | *РЕКОМЕНДОВАННЫЕ* | *СЕТЕВЫЕ* | *КАРТЫ* | *ДЛЯ* | *ИСПОЛЬЗОВАНИЯ* | *В ПРОДАКШНЕ* |
| Intel | 80003ES2LAN, \\
I217-LM, I219-V | 1 Гбит/сек | other=1 | rx=4096 | ? | |
| VMware | VMXNET3 | 1 Гбит/сек | combined=? | rx=4096 | 0 мбит/сек | Виртуальные машины не способны предоставлять \\
гарантированную скорость реакции. Тем не менее \\
это один из лучших драйверов для виртуальных \\
сетевых карт. |
| Intel | 82574L | 1 Гбит/сек | | | | |
| Broadcom \\
Emulex | NetXtreme BCM5720 | 1 Гбит/сек | rx=4 \(?) | rx=2047 | | |
*\* увеличение rx_frag_size для Emulex*
{color:#333333}Из коробки иногда не хватает значения rx_frag_size, из-за чего растёт счётчик dropped пакетов, но решается очень просто:{color}
{code}
echo options be2net rx_frag_size=8192 > /etc/modprobe.d/be2net.conf
reboot
{code}