Mellanox ConnectX-3 使用

硬件选择

1. 网卡：
   • 型号：Mellanox MCX354A ConnectX-3 VPI / HP 544+FLR
   • 特点：
     • 支持56GbE（以太网）和Infiniband（IB）两种模式，可切换。
     • PCIe 3.0 x16接口，需确保主板支持以发挥性能。
   • 名词解析：
     • VPI：支持以太网和Infiniband双模式。
     • 注意：型号不同（如MCX455A-FCAT）可能仅支持40/56GbE，需确认规格。
2. 电缆：
   • 类型：200G QSFP28 DAC

---

硬件安装

• 步骤：
  1. 将网卡插入PCIe x16插槽（建议PCIe 3.0，确保带宽）。
  2. 连接QSFP28 线缆
• 注意事项：
  • 检查主板PCIe版本和插槽实际带宽（如x16插槽可能只跑x4）。
  • 若带宽不足，可能需调整插槽或升级硬件。

---

驱动安装

1. Linux：
   • 环境：使用Ubuntu 20.04 ， 内核：5.4.0-18-generic
   • 驱动：Mellanox OFED 4.9-7.1.0.0-LTS
2. Windows：
   • 环境：使用Windows 11
   • 驱动：Win_OF（适用于ConnectX-3/ConnectX-3Pro）

---

网络配置与测试

1. Linux以太网互通：
   • 配置：
     • 使用mlxconfig -d <设备地址> set LINK_TYPE_P1=2 切换至以太网模式，重启生效。
     • 设置IP：A为192.168.4.2/24，B为192.168.4.1/24，MTU设为9000。
     • Ubuntu 20.04 更改 /etc/netplan/xx-cloud-init.yaml ， sudo netplan apply
   • 测试：
     • 用iperf测试吞吐量：
       • 初始55Gbps，因PCIe速度为5GT/s（PCIe 2.0）。
       • 调整BIOS至PCIe 3.0（8GT/s）后达97.9Gbps。
   • 优化：用mlnx_tune检查瓶颈，调整PCIe配置。
2. Linux Infiniband（IB）网络互通：
   • 配置：
     • 使用mlxconfig切换至IB模式（LINK_TYPE_P1=1），重启。
     • 启动OpenSM子网管理器（systemctl start opensmd），确保IB网络通信。
   • 测试：
     • 用ib_send_bw测吞吐量
     • 用ib_send_lat测延迟
3. Windows以太网互通：
   • 配置：
     • 同Linux切换至以太网模式，配置IP。
     • 检查PCIe带宽（初始x4，调整插槽至x16）。
   • 测试：
     • Samba传输：仅9.92Gbps，受Windows和Samba限制。
     • iperf测试：约30Gbps，因CPU核心数少（4核）和软件瓶颈。

问题：

IB 跑不满56G？

所有 100G 以太网（Mellanox 或通用）或 Mellanox FDR 电缆均可支持 56G 以太网（但仅支持 40G Infiniband）。

只有正品 Mellanox FDR 电缆才可以支持56G Infiniband和 56G 以太网。

如果IB一直是40G，可以试试用ETH模式。

可能用到的命令

启用或禁用接口：

sudo ip link set <interface_name> up     # 启用接口
sudo ip link set <interface_name> down   # 禁用接口

更新固件

flint -d 04:00.0 -i fw.bin burn

显示网线

mst cable add --with_ib
mlxcables

显示温度

mget_temp -d 04:00.0

状态

ibstatus
ibdiagnet
iblinkinfo

测速

numactl --cpunodebind=0 iperf -s -P8 -w 256K

numactl --cpunodebind=0 iperf -c 192.168.4.2  -t 60 -P8 -w 256K