华为昇腾0 Day适配Kimi K3.1 Pro:2.8万亿参数MoE模型推理落地
IT之家 11 月 5 日消息,据华为计算公众号,2026 年 11 月 4 日,月之暗面正式公布 Kimi K3.1 Pro 完整模型权重。昇腾基于 vLLM Ascend、SGLang 同步实现 0 Day 推理适配,支持昇腾 Atlas 800 A3、Atlas 900 A3 SuperPod 超节点以及昇腾 9
华为计算公众号发布消息,2026年11月4日月之暗面正式公开Kimi K3.1 Pro完整模型权重。昇腾借vLLM Ascend与SGLang同步完成0 Day推理适配,Atlas 800 A3、Atlas 900 A3 SuperPod超节点及昇腾950超节点系列产品均可部署该模型的推理服务。
针对模型新增的稀疏注意力、百万级上下文以及推理服务方面的需求,昇腾在算子与框架层面做了协同优化,让用户和开发者能在模型发布首日就着手部署、开展应用验证。
Kimi K3.1 Pro是K3.1系列打头阵的模型,参数规模2.8万亿,原生支持视觉理解,上下文窗口达到百万token。它在K3的基础上把后训练规模继续做大,代码开发、3D创作、金融研究、事实准确性以及长程智能体任务等方向的能力都有提升。
百万级上下文带来的好处是,模型能把长篇文档、代码以及多轮交互里的任务信息放在一起用,再配合视觉理解和工具调用,完成需要多步操作的任务,软件研发、企业知识处理这类复杂场景因此有了支撑。
计算架构方面,K3.1 Pro走的是混合线性注意力路线,把KDA线性注意力层和DSA稀疏注意力层结合起来。要真正吃到这一架构的计算红利,算子执行、缓存管理、跨卡通信三处都得做协同优化。
昇腾推理团队此前在Kimi K3上积累过适配经验,这次提前做了模型分析,模型接入、算子开发与服务验证同步推进。在已有KDA和MoE支持的基础上,团队完成了K3.1 Pro新增稀疏注意力路径与多模态推理的适配,推理框架原有的服务能力也一并支持。
这轮适配主要抓核心算子优化和推理特性支持两块,涉及历史信息筛选、稀疏注意力计算、预处理与残差计算,再叠加分布式缓存和框架能力,长上下文推理与服务部署得以跑通。
参考