CUDA 13.5 强化 Rubin 与多卡计算

CUDA Toolkit 13.5 的重点，是为 Vera Rubin 提供正式可用（GA）支持，同时补齐多任务资源分配、多 GPU 通信和长期性能观测能力。按原文报道，英伟达于当地时间 11 月 4 日发布这一版本，IT之家于 11 月 5 日报道。

对做 AI 基础设施、训练和推理服务的团队，这次更新有实际评估价值。对以前端和 Node 为主的开发者，更有用的是看懂：哪些优化发生在底层，哪些需要特定硬件，以及升级时要检查什么。

正式支持 Rubin，性能就会自动提高吗？

GA 表示 Vera Rubin 的软件支持从早期开发者预览进入面向企业生产部署的阶段，但不能据此推断所有应用都会提速。

计算方面，cuBLAS 更新了矩阵乘法启发式策略和内核调优机制，重点优化 Vera Rubin 上的 NVFP4、MXFP8 低精度矩阵运算，覆盖混合专家模型（MoE）等训练场景。启发式策略可以理解为：计算库根据任务特征，选择合适的执行方案。

英伟达称，这些改进可以减少针对每种计算形状单独进行自动调优的需要，提高训练和推理吞吐量。这里的前提很具体：硬件架构、数据精度和计算负载都要匹配。原文没有提供测试模型、对照配置和提速比例，暂时无法估算一般团队能获得多少收益。

组件也有同步更新：CUDA Python 1.2 增加批量内存复制、程序化依赖启动（PDL）和更灵活的 CUDA Graph 更新能力；CCCL 3.5 增加面向 CUB 的公开调优接口、批量 Top-K 选择和可重复浮点扫描等功能。

这些能力需要上层框架或应用实际使用，不能把组件升级直接等同于业务加速。

一张 GPU 跑多个任务，资源怎么分？

NVIDIA 多进程服务（MPS）v3 此次解决的是资源分配的灵活性。

新增的加权时间片机制，允许管理员为重负载 MPS 服务器设置更长的基础计算时间片，并独立调整任务切换频率。前者决定一次能连续计算多久，后者控制任务之间切换得多频繁。

流式多处理器（SM）分区负载均衡则允许任务借用其他分区暂时闲置的 SM。原分区需要资源时，系统优先回收借出的部分，同时保持应用看到的基础分区规模稳定。此外，新版本支持基于 Linux cgroup 的资源路由，以及命名空间级 SM 分区配置。

局部域（Locality Domain）的资源划分也增加了选择：

• 在各局部域分配相同数量的 SM，优先保证资源规模一致、行为可预测。
• 将原本在分区之外的补充 SM 纳入计算分区，尽量利用全部计算资源。

开发者可以通过相关 API 查询分区实际获得的 SM 数量，但原文没有给出 API 名称。

这些机制让资源分配更灵活，但原文没有证明它们能在所有混合负载下同时改善吞吐量和延迟。

多卡通信少绕一道，排障也能持续进行

CUDA Tile 现在支持在计算内核内部直接访问其他 GPU 的显存，底层依赖 NVLink 高速互连。在支持 NVLink SHARP 的 NVSwitch 网络中，还能借助多播指针和专用多 GPU 内存操作，执行跨 GPU 数据归约和写入。

归约就是把多份数据按某种规则合并，例如求和。这次变化允许把矩阵乘法和跨 GPU 归约融合在同一个内核中，减少内核边界和数据传递带来的额外开销。

它有明确的硬件条件，也涉及内核开发。普通应用调用一次推理接口，并不会直接用到这项编程能力。

性能排查方面，NVIDIA Nsight Perf SDK for AI 首次以公开预览形式推出。它面向长时间运行的训练和推理任务，持续收集 GPU、CPU 指标及执行上下文，并支持通过 Perfetto 查看结果。相比只在问题出现后临时采样，持续记录更有机会留下间歇性故障发生时的线索，但原文没有说明采集开销。

部署还有两处要核对：

• 从 Rubin 架构开始，Windows 上的 CUDA 不再支持 Tesla Compute Cluster（TCC），仅支持 Windows Display Driver Model（WDDM）和面向纯计算的 Microsoft Compute Driver Model（MCDM）。
• 同步发布的 R620 数据中心 GPU 驱动，Linux 版本为 620.70.06，Windows 版本为 621.14，发布日期均为 11 月 4 日。驱动与 Toolkit 分别发布，驱动不再内置于 Toolkit。

我的判断

这次更新的价值，在于计算库、资源调度、通信和观测一起向生产部署靠拢。尤其是闲置 SM 借用和持续性能记录，针对的都是长期运行服务会遇到的具体问题。

但这是一篇发布信息整理，没有作者实测，也没有独立对照数据。吞吐提升目前属于英伟达的产品表述，连经验性性能结论都谈不上。

相较于固定分区，动态借用资源增加了利用闲置算力的空间，也增加了负载行为验证的必要性。相较于分开执行计算和通信，融合内核减少了部分开销，却有硬件与开发条件。是否划算，需要在自己的任务上测。

能拿来做什么

• 维护 GPU 推理服务的团队，可以挑选真实混合负载，对比 MPS v3 不同配置下的吞吐和延迟，重点观察资源回收时的表现。
• 准备部署 Rubin 的团队，应分别检查 Toolkit、数据中心驱动和 Windows 驱动模型，并核对部署工具是否仍依赖 TCC。
• 排查长期训练或推理任务的偶发卡顿时，可以评估公开预览的 NVIDIA Nsight Perf SDK for AI，同时验证采集开销。
• 前端或 Node 服务如果只是调用模型接口，可以先记录后端使用的框架、硬件和 CUDA 版本，将这些信息用于问题定位，无需仅因发布新闻就调整应用依赖。