Копировать страницу

Полезные подсказки

Форматирование текста

*жирный* жирный

_наклонный_ наклонный

-зачеркнутый- ~~зачеркнутый~~

+под+ под

Заголовки

h1. Большой заголовок

h3. Средний заголовок

h5. Маленький заголовок

Списки

* Буллиты

# пронумерованный

Таблицы

||head1 ||head2||
| colA1 | colA2 |
| colB1 | colB2 |

ссылки

[заголовок#якорь] Связать страницу

[dev:заголовок] в 'dev' пространство

[http://host.com] Удаленная ссылка

[фраза@ярлык] Ярлык

[алиас|ссылка] Заголовок пользовательской ссылки

полное руководство нотаций

Название

Вы не можете зарегистрироваться в системе. Любые изменения, которые вы сделает, будут помечены как сделаные анонимно. Возможно вы захотите зарегистрироваться Log In если у вас есть учетная запись. Так же вы можете Sign Up для создания новой учетной записи.

пожалуйста, введите слово, показанное на картинке.

<h1><a name="REDUCTOR9-ConnectX2"></a>Connect X-2</h1>
<p user="true" style="display:none"/>
<p>создайте исполняемый файл</p>
<p user="true" style="display:none"/>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">/etc/sysconfig/modules/mellanox.modules
</pre>
</div></div></div><p>с содержимым</p>
<p user="true" style="display:none"/>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">#!/bin/sh
/sbin/modprobe mlx4_core
/sbin/modprobe mlx4_en
</pre>
</div></div></div><p user="true" style="display:none"/>
<h1><a name="REDUCTOR9-ConnectX3"></a>Connect X-3</h1>
<p user="true" style="display:none"/>
<p>Идём на сайт</p>
<p user="true" style="display:none"/>
<p><a href="https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/"
 class="external-link" rel="nofollow"linktype="raw" wikidestination="https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/" originalalias="https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/" >https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/</a></p>
<p user="true" style="display:none"/>
<p>Качаем ISO'шку под нужный нам дистрибутив (сейчас CentOS 6.10) и кладём её в /root/ на сервер</p>
<p user="true" style="display:none"/>
<p>Монтируем</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">mkdir /mnt/mellanox
mount -o ro,loop MLNX_OFED_LINUX-4.2-1.2.0.0-rhel6.8-x86_64.iso /mnt/mellanox/
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>Запускаем установку (идёт долго, после установки может быть зависание минут на пять).</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">cd /mnt/mellanox
./mlnxofedinstall
/etc/init.d/openibd restart
</pre>
</div></div></div><p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="info" macrohasbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="wysiwyg-macro-tag wysiwyg-macro-starttag">{info}</div><br class="wysiwyg-macro-body-newline"/><div class="wysiwyg-macro-body"><p>Вероятнее всего потребуется доставить ряд зависимостей. О чём будет сообщено установщиком:</p></div><br class="wysiwyg-macro-body-newline"/><div class="wysiwyg-macro-tag wysiwyg-macro-endtag">{info}</div></div><p class="atl_conf_pad"> </p>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">Logs dir: /tmp/MLNX_OFED_LINUX-4.0-2.0.0.1.6322.logs
Verifying KMP rpms compatibility with target kernel...
Error: One or more required packages <span class="code-keyword">for</span> installing MLNX_OFED_LINUX are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install gtk2 atk cairo gcc-gfortran libxml2-python tcsh tcl numactl tk
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>Ставим:</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">yum -y install gtk2 atk cairo gcc-gfortran libxml2-python tcsh tcl numactl tk
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>И повторяем установку.</p>
<p user="true" style="display:none"/>
<h1><a name="REDUCTOR9-%D0%9A%D0%B0%D0%BA%D0%BE%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B8%D1%82%D1%8C%D1%87%D1%82%D0%BE%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9%D0%B4%D1%80%D0%B0%D0%B9%D0%B2%D0%B5%D1%80%D0%BD%D0%B5%D0%BF%D0%BE%D0%B4%D1%85%D0%BE%D0%B4%D0%B8%D1%82"></a>Как определить что установленный драйвер не подходит</h1>
<p user="true" style="display:none"/>
<p>Проверьте что драйвер сейчас загружен:</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">lsmod | grep mlx
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>Если в вывод не пустой &#8211; выполните команду и найдите в её выводе сетевую карту.</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">lspci -k
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>Если в её выводе нет строчки kernel driver in use - значит драйвер не подходит.</p>
<p user="true" style="display:none"/>
<p>Если в её выводе есть kernel driver in use &#8211; скорее всего всё работает и нужно перепроверить вывод команды ip link / ifconfig.</p>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="false" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">...
05:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)
	Subsystem: Mellanox Technologies Device 0015
	Kernel driver in use: mlx4_core
	Kernel modules: mlx4_core
...
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>ethtool может показывать другой драйвер:</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">$ ethtool -i eth2
driver: mlx4_en
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>Ничего страшного в этом нет, для работы mellanox требуется несколько загруженных модулей ядра.</p>
<p user="true" style="display:none"/>
<h2><a name="REDUCTOR9-%D0%9A%D0%B0%D0%BA%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D1%8C%D1%87%D1%82%D0%BE%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%B8%D0%BA%D0%B8%D0%B4%D0%BB%D1%8F%D0%BD%D1%83%D0%B6%D0%BD%D0%BE%D0%B3%D0%BE%D0%B4%D1%80%D0%B0%D0%B9%D0%B2%D0%B5%D1%80%D0%B0"></a>Как проверить что исходники для нужного драйвера</h2>
<p user="true" style="display:none"/>
<p>Находим pci id устройства:</p>
<p user="true" style="display:none"/>
<p>1. Выполняем lspci и запоминаем bus id нужного устройства:</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">$ lspci
...
05:00.0 Ethernet controller: Intel Corporation 82541PI Gigabit Ethernet Controller (rev 05)
...
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>bus id - 05:00.0.</p>
<p user="true" style="display:none"/>
<p>Теперь узнаем pci id устройства:</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="true" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">$ lspci -n | grep 05:00.0
05:00.0 0200: 8086:107c (rev 05)
</pre>
</div></div></div><p user="true" style="display:none"/>
<p>PCI ID = 8086:107c</p>
<p user="true" style="display:none"/>
<p>8086 - номер вендора, в данном случае это Intel.</p>
<p user="true" style="display:none"/>
<p>107c - номер устройства.</p>
<p user="true" style="display:none"/>
<p>Пробуем найти номер устройства в исходниках драйвера.</p>
<p user="true" style="display:none"/>
<p>Если его там нет - скорее всего это драйвера не подходят для этого устройства.</p>
<p user="true" style="display:none"/>
<p>Например для Mellanox :</p>
<p user="true" style="display:none"/>
<div class="wysiwyg-macro" macroname="code" macrostarttag="{code}" macrohasbody="true" wikihasnewlinebeforebody="true" wikihasnewlineafterbody="true" wikihasprecedingnewline="true" wikihastrailingnewline="false" ><div class="code panel" style="border-width: 1px;"><div class="codeContent panelContent">
<pre class="code-java">[username@reductor mlnx-en-2.4-1.0.0.1]$ grep -ri 6750 ./
./drivers/net/ethernet/mellanox/mlx4/main.c:	{ PCI_VDEVICE(MELLANOX, 0x6750), MLX4_PCI_DEV_FORCE_SENSE_PORT },
./drivers/net/ethernet/mellanox/mlx4/main.c.orig:	{ PCI_VDEVICE(MELLANOX, 0x6750), MLX4_PCI_DEV_FORCE_SENSE_PORT },
</pre>
</div></div></div><p class="atl_conf_pad"> </p>

h1. Connect X-2

создайте исполняемый файл

{code}
/etc/sysconfig/modules/mellanox.modules
{code}
с содержимым

{code}
#!/bin/sh
/sbin/modprobe mlx4_core
/sbin/modprobe mlx4_en
{code}

h1. Connect X-3

Идём на сайт

https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/

Качаем ISO'шку под нужный нам дистрибутив (сейчас CentOS 6.10) и кладём её в /root/ на сервер

Монтируем

{code}
mkdir /mnt/mellanox
mount -o ro,loop MLNX_OFED_LINUX-4.2-1.2.0.0-rhel6.8-x86_64.iso /mnt/mellanox/
{code}

Запускаем установку (идёт долго, после установки может быть зависание минут на пять).

{code}
cd /mnt/mellanox
./mlnxofedinstall
/etc/init.d/openibd restart
{code}

{info}
Вероятнее всего потребуется доставить ряд зависимостей. О чём будет сообщено установщиком:
{info}
{code}
Logs dir: /tmp/MLNX_OFED_LINUX-4.0-2.0.0.1.6322.logs
Verifying KMP rpms compatibility with target kernel...
Error: One or more required packages for installing MLNX_OFED_LINUX are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install gtk2 atk cairo gcc-gfortran libxml2-python tcsh tcl numactl tk
{code}

Ставим:

{code}
yum -y install gtk2 atk cairo gcc-gfortran libxml2-python tcsh tcl numactl tk
{code}

И повторяем установку.

h1. Как определить что установленный драйвер не подходит

Проверьте что драйвер сейчас загружен:

{code}
lsmod | grep mlx
{code}

Если в вывод не пустой -- выполните команду и найдите в её выводе сетевую карту.

{code}
lspci -k
{code}

Если в её выводе нет строчки kernel driver in use - значит драйвер не подходит.

Если в её выводе есть kernel driver in use -- скорее всего всё работает и нужно перепроверить вывод команды ip link / ifconfig.
{code}...
05:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)
	Subsystem: Mellanox Technologies Device 0015
	Kernel driver in use: mlx4_core
	Kernel modules: mlx4_core
...
{code}

ethtool может показывать другой драйвер:

{code}
$ ethtool -i eth2
driver: mlx4_en
{code}

Ничего страшного в этом нет, для работы mellanox требуется несколько загруженных модулей ядра.

h2. Как проверить что исходники для нужного драйвера

Находим pci id устройства:

1. Выполняем lspci и запоминаем bus id нужного устройства:

{code}
$ lspci
...
05:00.0 Ethernet controller: Intel Corporation 82541PI Gigabit Ethernet Controller (rev 05)
...
{code}

bus id - 05:00.0.

Теперь узнаем pci id устройства:

{code}
$ lspci -n | grep 05:00.0
05:00.0 0200: 8086:107c (rev 05)
{code}

PCI ID = 8086:107c

8086 - номер вендора, в данном случае это Intel.

107c - номер устройства.

Пробуем найти номер устройства в исходниках драйвера.

Если его там нет - скорее всего это драйвера не подходят для этого устройства.

Например для Mellanox :

{code}
[username@reductor mlnx-en-2.4-1.0.0.1]$ grep -ri 6750 ./
./drivers/net/ethernet/mellanox/mlx4/main.c:	{ PCI_VDEVICE(MELLANOX, 0x6750), MLX4_PCI_DEV_FORCE_SENSE_PORT },
./drivers/net/ethernet/mellanox/mlx4/main.c.orig:	{ PCI_VDEVICE(MELLANOX, 0x6750), MLX4_PCI_DEV_FORCE_SENSE_PORT },
{code}

Расположение: 2. Документация Carbon Reductor DPI X > Настройка сетевых карт Редактировать

Метки: Редактировать

появляется, видно, link, ip, ifconfig, списке, в, нет, mellanox, карта, сетевая, определяется, не

Копировать страницу

Полезные подсказки

Примеры

Описание