万卡集群（10K-GPU Cluster）

万卡集群（10K-GPU Cluster）指由一万张及以上GPU（或AI加速卡）组成的大规模计算集群，是大模型进入千亿乃至万亿参数时代后的标配训练设施。单卡训练一个超大模型往往要以年计，只有把任务拆分到上万张卡上并行计算，才能把周期压缩到数周或数月。因此它不只是硬件的集合，更是网络、调度与容错等系统工程能力的体现。

为什么需要万卡规模

• 算力缺口：参数量越大所需算力越高，单卡训练耗时以年计，无法支撑模型的快速迭代
• 显存装不下：参数、梯度与优化器状态合计通常远超单卡显存容量，必须切分到多张卡上存放
• 并行是主要路径：把训练任务切分到上万张卡上协同计算，是压缩训练周期最现实的做法
• 规模效应：集群越大，单位算力成本与任务排队时间越有优化空间，长期看反而更经济

关键技术挑战

• 网络互联：卡间通信带宽直接决定并行效率，需要高速互联与低延迟组网，否则算力会被通信等待吃掉
• 稳定性与容错：规模越大硬件故障越频繁，需要断点续训、故障检测与自愈机制，让训练不因单点故障中断
• 调度与利用率：作业调度、负载均衡与算力利用率优化，决定集群的实际产出而非理论峰值
• 存储与数据供给：海量训练数据与模型检查点对存储带宽要求极高，数据读不快同样会拖慢训练

并行策略与参数取舍

• 数据并行：每张卡保留一份完整模型副本、各自处理一部分数据，梯度通过集合通信同步，通信量随参数量增长
• 张量并行：把单层内部的矩阵运算切分到多张卡，通信最频繁，通常限制在同一节点内以利用高带宽互联
• 流水线并行：按层把模型切到不同设备，用微批次填充流水线以减少空泡，代价是显存与调度复杂度上升
• 专家与序列并行：面向混合专家模型和超长序列，把不同专家或不同序列片段分派到不同设备
• 扩展效率：并行度越高，通信在总耗时中的占比越大，扩卡后吞吐不涨反降是常见现象，规模应按实测的扩展效率决定

适用场景与局限

万卡集群适合千亿参数以上基础模型的预训练、多模态大模型的持续训练，以及需要反复开展大规模实验的团队。局限也很明显：建设与运行成本高、电力与散热压力大、对运维团队要求极高，一旦调度跟不上就会长期闲置。参数规模不大的模型用数百张卡往往扩展效率更好，通信密集型的任务扩卡收益也有限，先做小规模验证再决定是否上量是更稳妥的顺序。此外，集群越大平均无故障间隔越短，检查点写入、故障隔离与自动重启属于日常运维的一部分，检查点本身也会占用存储带宽与训练时间。中小团队更适合通过云上租用算力，或先用中等规模集群验证方案。