Идём на сайт
http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers
Качаем ISO'шку под нужный нам дистрибутив (сейчас CentOS 6.8) и кладём её в /root/ на сервер
Монтируем
mount -o ro,loop MLNX_OFED_LINUX-3.4-1.0.0.0-rhel6.8-x86_64.iso /mnt
Запускаем установку (идёт долго, после установки может быть зависание минут на пять).
cd /mnt/ ./mlnxofedinstall /etc/init.d/openibd restart