摩尔线程Kimi K3.1 Pro训练链路验证完成:双机16卡跑400步
11月17日,摩尔线程宣布,其实验室已完成月之暗面Kimi K3.1 Pro模型的训练链路适配,并在双机16卡配置下连续完成400步训练验证,未出现数值溢出或异常中断。Kimi K3.1 Pro为2.8万亿参数MoE架构原生多模态模型,从架构特性看,其动态稀疏注意力与专家路由机制对多卡通信和显存管理构成较高门槛。从厂商
11月17日,摩尔线程对外称,其实验室已经跑通月之暗面Kimi K3.1 Pro模型的训练链路适配;在双机16卡配置下,训练连续推进400步,期间没有发生数值溢出,也没有异常中断。Kimi K3.1 Pro是2.8万亿参数的MoE架构原生多模态模型,其动态稀疏注意力与专家路由机制,对多卡通信和显存管理都提出了不低的要求。从厂商披露的信息看,国产GPU与大模型的适配节奏正在加快。壁仞科技2026年中报显示,数家大模型企业已在壁砺千卡集群上完成多模态预训练与强化学习,精度对齐国际产品;寒武纪2026年半年度业绩说明会披露,训练侧正推进DeepSeek、Qwen、混元等系列的训练适配,并向千卡、万卡集群场景延伸;百度在Create 2026上公布,昆仑芯P800全国产集群完成了文心5.1重要版本的训练,有效训练率97%;海光信息2026年半年度材料则披露,其DCU已适配400余款主流大模型,覆盖99%非闭源大模型。
摩尔线程这次单独披露了400步连续训练、损失曲线与梯度检查等细节。从公开披露口径看,针对2.8万亿参数MoE多模态模型给出这类工程细节的案例仍不多见。不过,本次做的仍是裁剪配置下的训练链路验证,并不等同于完整全规模预训练。
测试用的就是裁剪配置:语言主干截取13层、16路由专家(Top‑8激活),完整的27层视觉塔与跨模态投影模块予以保留,训练基于MedPix‑VQA图文数据集随机初始化。摩尔线程实验室披露的数据显示,训练损失从8.9365(第21—70步均值)收敛到2.1802(末50步均值),验证集损失由6.5297降到4.6873,显存峰值44.80GiB,视觉分支参与了参数更新。
工程层面,这次适配的重点落在分布式训练链路的系统性打通上,单卡峰值并非重点。摩尔线程补上了Kimi K3.1 Pro混合注意力与MoE算子的前向、梯度实现,参数、梯度与优化器状态的分片管理交给FSDP2,跨节点通信则由MCCL承担。官方表示,本次只是裁剪配置下的链路验证,用来检验训练功能与损失趋势,完整规模预训练将另行开展。
据TrendForce集邦咨询预测,2026年中国市场高端AI芯片出货量约500万片、同比增83%,本土方案份额接近90%(含云厂商自研ASIC)。摩尔线程此番公布的400步连续训练与梯度检查结果,为国产GPU在训练侧的可复现性提供了一个可供参照的工程节点。但从裁剪配置走到完整万亿参数模型的全规模训练,集群规模扩展与长稳运行这两道考验仍要跨过去。
封面图片:摩尔线程官网