升级 ConnectX 网卡前先核对链路和 PCIe
文章对比 ConnectX-4 至 7 的 PCIe 带宽、端口形态以及驱动和固件差异。即使网口协商到了目标速率,主机插槽带宽仍可能限制实际吞吐。
AI 深度解读
把 ConnectX-4 换成 ConnectX-7,网卡标称速率从 100G 升到 400G,应用却未必跑得更快。原文的核心判断是:网卡迁移先看网络互连、PCIe 插槽和驱动支持,再选型号。任何一环跟不上,新增带宽都可能用不上。
这份指南适合正在升级 RDMA、存储或 GPU 集群的团队,也能帮助应用开发者理解「网络没跑满」为什么不一定是代码问题。不过,作者没有提供实测对照,部分兼容性和降速表述也需要进一步核实,不能直接当采购规格书。
端口写着 400G,服务器就能喂满吗
网卡有两条通路:一条接交换机,一条经 PCIe 接 CPU 和内存。网络端口足够快,只解决了前半段。
原文给出的带宽换算是:100G 对应 12.5 GB/s,200G 对应 25 GB/s,400G 对应 50 GB/s。这里应理解为按比特换算的名义数据率,不能直接当成应用有效载荷吞吐。
作者据此列出插槽预算:PCIe 3.0 x16 约 15.75 GB/s,计入额外开销后,可用吞吐约 12—13 GB/s,单个 100G 端口已经接近上限,两个 100G 端口同时跑满更不现实。PCIe 4.0 x16 约 32 GB/s,可以承载单口 200G 或双口 100G;PCIe 5.0 x16 约 64 GB/s,才有支撑单口 400G 的空间。
采购要看端口合计需求,不能只看单口速率。
因此,ConnectX-4 的单口 100G、ConnectX-6 Dx 的 200G、ConnectX-7 的 400G,分别对应原文强调的 Gen3、Gen4、Gen5 x16 预算。但这些是规划尺度,具体仍要查 SKU 和实际插槽连接。
原文把插在 Gen4 上的 ConnectX-7 称为「昂贵的 200G 网卡」,这个比喻容易理解,技术上却不够严谨。PCIe 带宽限制应用吞吐,不代表网络端口一定协商到 200G。端口连接速率和主机能持续搬运的数据量,需要分开检查。
型号差一个后缀,可能连网络都接错
ConnectX 家族共享不少工具,容易让人以为新旧卡只是速度不同。原文提醒,真正要核对的还有协议、模块接口、固件分支和散热版本。
MCX4xxxx、MCX5xxxx、MCX6xxxx 分别对应 ConnectX-4、5、6;后缀还包含接口、散热和挡板差异。家族名只能帮助初筛,不能代替完整料号。
最明确的分界是 ConnectX-6 Dx:它只支持 Ethernet,不支持 InfiniBand。需要两种协议切换时,要找支持 VPI 的具体 SKU。原文列出的 InfiniBand 速率包括:ConnectX-4 的 EDR 100G、ConnectX-5 的 EDR 和 HDR100、ConnectX-6 VPI 的 HDR200,以及 ConnectX-7 的 NDR200、NDR400。
代际也不等于每张卡的速率。ConnectX-6 MCX653106A 就是原文举出的 100G InfiniBand 型号,HDR100 使用 QSFP56 端口的两条通道,不能因为属于第六代就按 200G 采购。
模块同样会卡住升级。原文讨论了 QSFP28、QSFP56、QSFP112 的向下兼容,但也承认具体网卡未必开放预想中的低速模式。因此,「模块能插进去」只能算物理条件,链路能否建立、支持什么速率,还要核对两端设备和模块组合。
交换机决定另一半上限。32 口 100G QSFP28 平台 SN2700,不能仅靠更换服务器网卡变成 400G 网络;原文将 SN4600 VS2RC 列为 200G QSFP56 平台的例子。100G 升到 200G 通常要更换两端模块,升到 400G 还可能涉及线缆等级。
模块、交换机和主机插槽,应该一起进入升级预算。
驱动装得上,为什么还不能直接批量上线
原文把驱动支持设为采购门槛:先确认目标 OS、内核有对应驱动,固件分支仍有修复,以及 BIOS、UEFI、PXE 启动路径能够使用新卡。Secure Boot 环境还要检查启动驱动签名。
作者称 MLNX_OFED 已由 DOCA-OFED 接替,并指出旧卡支持的发行版本更窄。但文章没有给出具体版本矩阵,不能据此判断某个内核与某张卡一定兼容。
这里还有一个术语需要拆开。原文把 rdma-core 称为系统内置驱动,容易混淆用户态 RDMA 组件与内核驱动。排查时应分别记录内核里的 mlx5_core 等驱动、用户态库和工具、网卡固件,而不是只记一个 OFED 版本。
原文列出的工具值得保留:mlxfwmanager、mstflint 用于固件维护,mlxconfig 修改适配器配置,mlxlink 检查链路及眼图信息;ibstat 和 ethtool -m 则分别提供相关状态或模块诊断信息。它们用途不同,不能互相替代。
物理布局也会影响结果。双路服务器里,网卡应尽量与使用它的内存、GPU 或加速器位于同一个 NUMA 节点,减少跨 CPU 插槽访问。被动散热网卡依赖机箱风道,挡板、散热器版本和气流方向不匹配,也可能表现为性能不稳定。
作者建议分四步迁移:盘点空闲插槽及 PCIe 代际;每类主机选一台,完成固件、驱动、模块、ib_write_bw 或其他 perftest 带宽测试,再验证真实应用;按速率统一模块;最后按机架或业务角色铺开。
每台机器还应保留旧网卡、旧固件版本和匹配的驱动构建。多代长期混用时,把固件分支与节点信息一起记录,才能让后续排障有据可查。
我的判断
我赞同作者把升级起点放在资源盘点上。它把容易被忽略的限制串到了一起:协议是否匹配、PCIe 是否够用、交换机能否承接、软件栈能否维护。比起按代际购买最新型号,这种顺序更适合已有服务器的增量改造。
但它仍是一份经验指南。文中没有服务器配置、包大小、CPU 占用、测试拓扑,也没有升级前后的应用延迟或吞吐对照。「双口只能跑到标签的一半」「系统内置栈缺少部分功能」等说法,都需要放回具体环境判断。
PCIe 数字的口径也不够统一。原文把约 15.75 GB/s 称为原始带宽,又笼统扣除编码和事务开销;做容量规划时,应明确数字是否已经计入编码损耗,避免重复扣减。QSFP 的兼容性同样不能只凭外形和代际推断。
在软件栈选择上,系统随附组件通常更便于跟随内核维护,厂商栈则应由明确的功能需求驱动。原文建议延迟敏感或 GPU-direct 场景固定厂商栈版本,但没有给出两种方案的对照数据,不能替它推导出普遍性能优势。
此外,文章由设备供应商发布,结尾带有销售导流,且「25G 是最便宜入口」没有价格样本。ConnectX-4 Lx MCX4121A 配 Gen3 x8、ConnectX-5 MCX516A 用于双口 QSFP28,可以作为选型线索,最终仍应核对具体规格和采购报价。
能拿来做什么
-
如果团队正在采购网卡,先给每台服务器记录空闲插槽的 PCIe 代际、实际通道数、所连 CPU,以及交换机端口速率,再筛选 SKU。原文结尾的两列清单很实用,但 NUMA 和实际通道数也值得补上。
-
如果你负责 Node 或全栈服务的性能排查,把端口连接速率、主机实测吞吐、应用请求指标分别记录。RDMA 带宽测试能验证基础通路,却不能直接证明 HTTP 服务会同比提速。
-
如果集群需要混用 ConnectX-4、5、6、7,按业务角色记录固件与软件栈版本,并核对 RoCEv2 的 PFC、ECN 和拥塞控制配置。不要把所有节点能建立链路,当成整组任务性能一致。
-
如果要批量迁移,先用代表节点跑完真实工作负载,并实际验证换回旧卡后的恢复流程。测试通过后再按机架或角色推进,让采购、上线和回滚使用同一份记录。