ConnextX-6网卡与驱动安装
安装网卡：务必将服务器放倒，如图方式施加力安装网卡，当听到卡塔声，检查网卡的金手指全部插入插槽中，此时安装完成
启动计算机，检查PCIE设备是否得到识别
1
|
lspci -v | grep mellanox -i
|
下载OFED驱动：NVIDIA Mellanox InfiniBand Software
1
|
wget https://content.mellanox.com/ofed/MLNX_OFED-5.4-3.0.3.0/MLNX_OFED_LINUX-5.4-3.0.3.0-ubuntu20.04-x86_64.tgz
|
1
|
tar -zxvf MLNX_OFED_LINUX-5.4-3.0.3.0-ubuntu20.04-x86_64
|
安装OFED驱动
1
2
|
cd MLNX_OFED_LINUX-5.4-3.0.3.0-ubuntu20.04-x86_64
sudo ./mlnxofedinstall
|
启动OFED驱动
1
|
sudo /etc/init.d/openibd restart
|
启动OpenSM管理器
1
|
sudo /etc/init.d/opensmd restart
|
查看网卡状态
1
|
sudo hca_self_test.ofed
|
ConnextX-6网卡连通性测试
使用ifconfig查询InfiniBand网卡名称（ibs6f0与ibs2f0）后，为网卡添加IP地址
1
2
|
antl@node05:/$ sudo ip addr add 172.16.0.100/24 dev ibs6f0
antl@node06:/$ sudo ip addr add 172.16.0.200/24 dev ibs2f0
|
启用设置的IP地址
1
2
|
sudo ip link set dev ibs6f0 up
sudo ip link set dev ibs2f0 up
|
查看是否发现对端设备：
互相Ping测试
1
2
|
antl@node05:/$ ping 172.16.0.200
antl@node06:/$ ping 172.16.0.100
|
ConnextX-6网卡性能测试
Mellanox Interconnect Community
测试中约定node5为客户端、node6为服务端
服务端node6运行：
1
|
ib_send_bw -a -c UD -i 1
|
客户端node5运行：
1
|
ib_send_bw -a -c UD -i 1 172.16.0.200
|
图中的Conflicting CPU frequency values detected可通过关闭CPU频率调节功能解决
基于iperf3的性能测试
注意iperf3无法将性能跑满，READ和WRITE等RDMA命令测试可将性能跑满
1
|
sudo apt-get install iperf3
|
测试中约定node5为客户端、node6为服务端
1
2
|
antl@node6:~$ iperf3 -s
antl@node05:/$ iperf3 -c 172.16.0.200
|
