英伟达CUDA 13.5：Vera Rubin正式可用，多GPU通信升级

当地时间11月4日，英伟达正式推出CUDA Toolkit 13.5。这一版本为下一代AI计算平台Vera Rubin提供正式可用（GA）支持，相关架构由此从早期开发者预览阶段走向企业生产环境部署。

按照英伟达官方的说法，本次更新补齐了Vera Rubin平台的底层软件支持，同时在GPU资源调度、多GPU通信、数学计算库和性能分析工具上做了多项改进，主要面向大规模AI训练与推理场景。

计算性能上，CUDA 13.5调整了cuBLAS的矩阵乘法启发式策略和内核调优机制，并针对Vera Rubin架构上的NVFP4、MXFP8低精度矩阵运算做了优化，覆盖混合专家模型（MoE）等训练场景。英伟达称，有了这些改进，不必对每种计算形状逐一自动调优，训练和推理吞吐量也能提升。

GPU调度上，CUDA 13.5升级了NVIDIA多进程服务（MPS）v3，加入加权时间片机制。管理员可给运行重负载的MPS服务器设定更长的基础计算时间片，GPU在不同任务间的切换频率也能单独调节，多任务环境下的资源分配因此更灵活。

MPS v3还新增流式多处理器（SM）分区负载均衡。资源充足时，任务可以借用其他分区暂时闲置的SM资源；原分区需要用时，系统会先把借出的部分收回。资源怎么动态流转，应用看到的基础分区规模都保持稳定。新版本另增基于Linux cgroup的资源路由和命名空间级SM分区配置。

局部域（Locality Domain）也迎来新的资源划分策略。应用现在有两种SM分区方式可选：在各局部域中分配相同数量的SM，资源规模一致且可预测；或者把原本处于分区之外的补充SM纳入计算分区，尽量用上GPU全部计算资源。开发者还能通过相关API查询各分区实际拿到的SM数量，据此合理安排计算任务。

多GPU通信是此次更新的另一个重点。CUDA Tile现在支持在计算内核内部直接访问其他GPU的显存，该功能依托NVLink高速互连实现。开发者借助多播指针和专用多GPU内存操作，还能在支持NVLink SHARP的NVSwitch网络中完成跨GPU数据归约和写入。

这样一来，GPU之间的数据通信和计算操作可以融进同一个内核执行，传统多卡协同中因内核边界和数据传递产生的额外开销随之减少。英伟达列举的适用场景包括融合矩阵乘法和跨GPU数据归约。

Windows平台方面，英伟达对Rubin架构的驱动模型支持范围作了明确调整。自Rubin架构起，CUDA不再支持Tesla Compute Cluster（TCC）模式，只支持Windows Display Driver Model（WDDM）和Microsoft Compute Driver Model（MCDM）。MCDM面向纯计算场景，相关应用和部署工具需要适配新的支持范围。

开发工具方面，CUDA 13.5首次以公开预览形式推出NVIDIA Nsight Perf SDK for AI，为长时间运行的AI训练和推理任务提供常开式性能分析。该工具持续采集GPU、CPU性能指标及执行上下文，帮开发者定位难以复现的间歇性性能问题，采集结果可通过Perfetto查看。

其余组件也有更新。CUDA Python 1.2增加批量内存复制、程序化依赖启动（PDL）以及更灵活的CUDA Graph更新能力；CUDA Graph本身和CCCL 3.5同样得到更新，其中CCCL 3.5加入面向CUB的公开调优接口、批量Top-K选择和可重复浮点扫描等功能。

驱动方面，英伟达同步发布R620系列数据中心GPU驱动，Linux版本620.70.06，Windows版本621.14，发布日期均为11月4日。需要注意，CUDA Toolkit 13.5与数据中心驱动分别发布，驱动不再作为Toolkit的内置组件提供。