... | *5гбит/сек - 10гбит/сек* | 10гбит/сек: 2 x Intel® Xeon® E5-2690 @ 2.90GHz, 8 cores/socket, 20M L3 cache | Любая с двумя FCLGA2011 сокетами | 2x8 Gb DDR3 1600MHz\+ \\ | Network Mellanox ConnectX-3 VPI MCX353A-FCBT из расчёта 5гбит/сек на порт. \\ |
| *10гбит/сек - 16гбит/сек* | 10гбит/сек: 2 x Intel(R) Xeon(R) CPU E5-2687W v4 @ 3.00GHz, 12 cores/socket, 30M L3cache \\ | Любая с двумя FCLGA2011 сокетами \\ | 2x8 Gb DDR3 1600MHz\+ \\ | Network Mellanox ConnectX-3 VPI MCX353A-FCBT из расчёта 5гбит/сек на порт. \\ |
| *16\+ гбит/сек* | Intel(R) Xeon(R) Gold 6154 Processor, 3,00GHz, 4 sockets, 18 cores, 25M L3 cache \\ | Любая поддерживающая сокет FCLGA3647. | 4 х 8Gb DDR4 3000MHz \\ | 4 x Network Mellanox ConnectX-3 VPI MCX353A-FCBT с привязкой каждой к отдельному процессору |
h2. Процессоры
* гипертрединг - нужно отключать. число ядер (cores) у процессоров ниже указано с учётом отключенного гипертрединга.
* 4\+ ядра - хорошо
* Intel - хорошо, с AMD могут быть проблемы
* Чем больше L3 кэш, тем лучше.
* 3GHz\+ частота - хорошо
* очень много ядер, но с маленькой частотой - не хорошо.
* несколько socket'ов (физических процессоров):
** если используется несколько сетевых карт для зеркала - хорошо
** если одна - имеет мало смысла и в некоторых случаях может быть хуже, чем на одном сокете.
|| Трафик || Однопроцессорное решение \\ || Многопроцессорное решение \\ ||
| 16 Гбит/сек + \\ | | * Intel® Xeon® Gold 6154 Processor, 3,00GHz, 4 sockets, 18 cores, 25M L3 cache
* Intel® Xeon® Gold 6144 Processor, 3.50 GHz, 4 sockets, 8 cores, 25M L3 cache
* Intel® Xeon® E5-2687W v4 @ 3.00GHz, 2 sockets, 12 cores, 30M L3 cache
* Intel® Xeon® E5-2689 v4 @3.10GHz, 2 sockets, 10 cores/socket, 25M L3 cache
* Intel® Xeon® E5-2690 @ 2.90GHz, 2 sockets, 8 cores/socket, 20M L3 cache |
| до 6 Гбит/сек \\ | * Intel(R) Xeon(R) CPU E5-1660 v2 @ 3.30GHz, 6 cores, 16M L3 cache
* Intel(R) Core(TM) i7-4790K CPU @ 4.00GHz, 4 cores, 8M L3 cache
* Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz, 4 cores, 8M L3 cache
* Intel(R) Core(TM) i7-4790 CPU @ 3.60GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E3-1246 v3 @ 3.50GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E3-1270 v3 @ 3.50GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E3-1230 v5 @ 3.40GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E3-1240 v3 @ 3.40GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E3-1270 @ 3.40GHz, 4 cores, 8M L3 cache
* Intel(R) Core(TM) i5-3570 CPU @ 3.40GHz, 4 cores, 6M L3 cache
* Intel(R) Xeon(R) CPU E3-1240 @ 3.30GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E3-1230 v3 @ 3.30GHz, 4 cores, 8M L3 cache
* Intel(R) Core(TM) i5-4460 CPU @ 3.20GHz, 4 cores, 6M L3 cache
* Intel(R) Core(TM) i5-4460 CPU @ 3.20GHz, 4 cores, 6M L3 cache
* Intel(R) Xeon(R) CPU E3-1220 V2 @ 3.10GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E3-1220 v3 @ 3.10GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU X3440 @ 2.53GHz, 4 cores, 8M L3 cache | * Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz, 2 sockets, 6 cores/socket, 16M L3 cache
* Intel(R) Xeon(R) CPU X5650 @ 2.67GHz, 2 sockets, 6 cores/socket, 12M L3 cache
* Intel(R) Xeon(R) CPU E5-2640 0 @ 2.50GHz, 2 sockets, 6 cores/socket, 16M L3 cache
* Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz, 2 sockets, 4 cores/socket, 10M L3 cache
* Intel(R) Xeon(R) CPU X5570 @ 2.93GHz, 2 sockets, 4 cores/socket, 8M L3 cache
* Intel(R) Xeon(R) CPU E5645 @ 2.40GHz, 2 sockets, 6 cores/socket, 12M L3 cache
* Intel(R) Xeon(R) CPU E5530 @ 2.40GHz, 2 sockets, 4 cores/socket, 8M L3 cache |
| до 200 Мбит/сек \\ | * Intel(R) Xeon(R) CPU E5-2430 0 @ 2.20GHz, 6 cores, 16M L3 cache
* Intel(R) Xeon(R) CPU E5504 @ 2.00GHz, 4 cores, 4M L3 cache
* Intel(R) Xeon(R) CPU E5607 @ 2.27GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E5620 @ 2.40GHz, 4 cores, 12M L3 cache
* Intel(R) Xeon(R) CPU L5335 @ 2.00GHz, 4 cores, no L3 cache
* Intel(R) Xeon(R) CPU X3220 @ 2.40GHz, 4 cores, no L3 cache
* Intel(R) Xeon(R) CPU E3-1240L v3 @ 2.00GHz, 4 cores, 8M L3 cache
* Intel(R) Xeon(R) CPU E5-2603 v3 @ 1.60GHz, 6 cores, 16M L3 cache
* Intel(R) Xeon(R) CPU E5410 @ 2.33GHz, 4 cores/socket, no L3 cache | * Intel(R) Xeon(R) CPU 5130 @ 2.00GHz, 2 sockets, 2cores/socket, no L3 cache
* Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz, 2 socket, 6 cores/socket 16M L3 cache.
* Intel(R) Xeon(R) CPU E5-2640 v2 @ 2.00GHz, 2 sockets, 8 cores/socket, 20M L3 cache
* Intel(R) Xeon(R) CPU E5345 @ 2.33GHz, 2 sockets, 4 cores/socket, no L3 cache
* Intel(R) Xeon(R) CPU E5405 @ 2.00GHz, 2 sockets, 4 cores/socket, no L3 cache
* Intel(R) Xeon(R) CPU E5430 @ 2.66GHz, 2 socket, 4 core/socket, no L3 cache
* Intel(R) Xeon(R) CPU L5520 @ 2.27GHz, 2 sockets, 4 cores/socket, 8M L3 cache |
h2. Сетевые карты
Большинство сетевых карт имеют неоптимальные настройки по умолчанию, что может приводить к пропускам. Carbon Reductor настраивает часть параметров автоматически при загрузке.
Распределение прерываний (RSS) опасно настраивать автоматически: сетевая карта может "зависнуть", а для многопроцессорных систем сложно определить его оптимальную конфигурацию, поэтому мы настраиваем эту опцию только вручную.
При установке нового оборудования обращайтесь в техническую поддержку - мы поможем исключить потери пакетов и подтвердим, что оборудование справляется с текущей нагрузкой.
h3. Рекомендованные
|| Вендор || Модель || Тип || Число \\
очередей \\
(макс.) || Размер \\
буфера \\
(макс.) || Макс. наблюдавшаяся \\
нагрузка {color:#000000}{*}на 1 порт *{color}с \\
отсутствием потерь и \\
др. проблем || Проблемы ||
| Mellanox | MT27520 Family \\
\[ConnectX-3 Pro\] | 10 Гбит/сек | rx=128 | rx=8192 | 6.5 Гбит/сек | Число очередей может быть равным \\
только степени двойки, неоптимально \\
на 6-ядерных процессорах |
| Broadcom \\
Emulex | OneConnect 10Gb NIC (be3) \\
Device e729 | 10 Гбит/сек | combined=4 | rx=1024 \\
tx=2048 | 1 Гбит/сек | Малое максимальное число \\
очередей, малый размер rx-буфера. \\
Подойдёт для 800-900мбит/сек. \\
Нужно увеличивать параметр модуля \\
rx_frag_size *\** |
| Intel | X710 (i40e driver) | 10 Гбит/сек | combined=64 | rx=4096 | 4.5 Гбит/сек | Скорее всего способна обрабатывать и больший \\
объём трафика. |
| Intel | 82599ES, 82599EB (2 порта) \\
82599EN (1 порт) \\
(ixgbe driver) | 10 Гбит/сек | combined=63 | rx=4096 \\
tx=4096 | 3.5 гбит/сек | Нужно [отключать опции LRO и GRO|http://docs.carbonsoft.ru/pages/viewpage.action?pageId=65799130]. \\
В остальном хороши, популярны, легко купить \\
замену при необходимости |
| Intel | I210, I211, I350 \\
(igb driver) \\
82576, 82575EB \\ | 1 Гбит/сек | combined=8 \\
(иногда rx и \\
tx очереди \\
раздельны) | rx=4096 \\
tx=4096 | 800 мбит/сек | В некоторых ситуациях требует \\
пересборки драйвера без поддержки \\
LRO, в противных случаях зависает. |
h3. Проблемные, не рекомендуется использовать в продакшне
Наша компания давно работает с интернет провайдерами. Несмотря на то что мы пишем софт, нам часто приходится помогать своим клиентам решать проблемы с оборудованием. Так вот - мы настолько *намучились* с *D-Link* / *Realtek* / другими дешёвыми сетевыми картами за последние десять лет, что *категорически рекомендуем не использовать их для чего-то кроме рабочих станций.*
Возможно как железо они не так уж и плохи, но дело в их драйвере:
# Одна очередь на rxtx, вне зависимости от числа доступных ядер процессора.
# Отсутствие возможности задать параметры размеров ring-буферов сетевой карты (маленький буфер приводит к потерям)
# Отсутствие возможности задания coalesce-параметров, нам важен rx-usecs, за счёт его уменьшения можно снизить нагрузку с сетевой карты, увеличив нагрузку на процессор.
# Отсутствие поддержки NAPI драйвером.
|| Вендор || Модель || Тип || Число \\
очередей \\
(макс.) || Размер \\
буфера \\
(макс.) || Макс. наблюдавшаяся \\
нагрузка {color:#000000}{*}на 1 порт *{color}с \\
|
