NVLink（NVSwitch）

NVLink 是英伟达为 GPU 之间提供的高速直连通道，NVSwitch 则是把多张卡组成全互联交换网络的芯片。它解决的是通用总线带宽不足导致的通信瓶颈，让多卡在训练时高频交换梯度与中间结果，从而把单机乃至整机柜内的加速器当作一个整体来使用。

它解决的问题

大模型训练需要频繁做梯度同步与张量并行通信，如果数据必须绕行外部网络，延迟与带宽都会成为瓶颈，卡越多效率反而可能越低。专用互连把这部分流量留在机箱或机柜内部，显著降低通信等待时间，也让扩展卡数的收益更接近线性。

关键特性

• 高带宽直连：单链路带宽远超通用总线，缓解通信瓶颈
• 全互联拓扑：交换芯片让任意两张卡之间跳数一致，延迟更稳定
• 统一内存访问：多卡显存可被协同访问，简化编程模型
• 超节点基础：高密度互连是整机柜级算力单元得以成立的前提

对工程的影响

互连能力决定了并行策略的选择空间。带宽充裕时可以采用更激进的张量并行切分，把大模型摊到多张卡上；反之只能依赖流水线并行与梯度累积，训练效率与显存占用都会更加紧张。这也意味着同一批硬件在不同并行策略下的表现可能相差明显，调优时通常需要结合通信与计算的重叠程度一起看。

局限与常见误解

• 生态封闭：通常只在同一厂商的加速器之间可用，跨厂商组网需回到通用网络
• 规模受限：互连规模受交换层级与机柜物理布局约束，扩容要重新规划拓扑
• 不等于零成本：带宽提升不代表通信开销消失，计算与通信重叠不佳时收益会被吃掉
• 只解决机内：跨机房、跨集群的流量仍要走常规网络，两者需要分别规划

实践建议

评估互连方案时，可以先测算目标模型的通信量占单步时间的比例，再判断是否需要为机内互连额外投入；如果并行切分主要落在机柜内部，高带宽互连的收益最直接，若流量以跨机通信为主，则应优先补强集群网络。扩容前最好把拓扑、机柜布局与散热一并纳入规划，避免互连层级与物理空间成为瓶颈，同时按实际通信占比复核投入产出，而不是单纯追求更高的互连规格，必要时可用小规模任务先验证通信占比，再决定互连层级与机柜布局。