Kimi K3.1 Pro开源:昇腾Day0支持,100K长序列解码低于10ms

资讯 腾讯网 作者:腾讯网 全文 1462 字 · 约 4 分钟读完 分类KimiK3.1月之暗面开源

10月24日,Moonshot AI发布Kimi K3.1 Pro,并于11月4日正式开源。CANN完成Kimi K3.1 Pro的Day0支持与优化,助力开发者在昇腾平台上快速部署与体验。承接Kimi K3积累,快速适配新架构Kimi K3.1 Pro交错使用KDA与DSA:KDA通过状态递推处理序列;DSA在MLA

所属频道 开源生态国产大模型

10月24日,Moonshot AI推出Kimi K3.1 Pro,11月4日正式开源。CANN对Kimi K3.1 Pro的Day0支持与优化已经完成,开发者在昇腾平台上可以快速部署、上手体验。

新架构的适配,建立在Kimi K3的积累之上,节奏很快。

Kimi K3.1 Pro把KDA与DSA交错使用。其中KDA靠状态递推来处理序列;DSA则在MLA的基础上加入索引选择——先由LI(Lightning Indexer)筛出Top-K历史位置,再由SFA(Sparse Flash Attention)读取对应的KV,完成稀疏注意力计算。跨层表示依旧通过Attention Residuals聚合。
有K3阶段的优化打底,K3.1 Pro复用了FlashKDA/MegaKDA、AttnRes两阶段融合以及MegaMoE/MC2等算子优化;再叠加混合并行、通信优化与多流编排,配合SuperKernel、图模式、编译缓存和NZ权重布局,并延续DSpark投机推理与ReplaySSM状态回放机制。计算、通信、调度、存储几个环节一起发力,推理效率得以提升,新架构也就快速适配到位。

DSA融合与多流协同,目的是减少解码阶段的等待。LI把相关性打分、头权重加权和Top-K选择合并执行,直接读取分页K缓存,中间结果的写回和算子启动都少了;SFA按选出的索引读取主注意力KV,完成稀疏注意力计算。Prefill与Decode两种场景下,LI都支持BF16和量化路径。
Indexer Prolog则靠三流协同再往前推一步:Q投影与K归一化、Q量化与头权重投影分别并行执行,输入准备阶段的串行等待因此缩短。

分层量化的思路,是压低缓存与搬运开销。DSA的投影计算保留BF16。LI全量化采用MXFP8,对索引Q/K按per-group方式动态量化,group size为32,也就是每32个元素共用一个缩放因子。SFA的KVCache用FP8,量化粒度是per-token-head-tile,tile size为128,即每个Token、每个Head内按128个元素分块量化。索引数据与KV缓存的存储、访存开销由此下降。
Prefill CP要同时解决长序列切分和负载均衡。本次支持CPxTP组合部署:长输入沿序列维度切开,再结合TP组内序列并行,单卡的激活与中间张量占用随之降低。
DSA因果索引计算存在"序列越靠后、历史越长"的负载差异,对此采用Zigzag布局,把首尾配对的两段序列分到同一张卡上,跨卡索引计算量更均衡,算完之后再恢复原有顺序。

基于CANNBot-DSL,本次实现了FlashKDA CP。超长序列下,KDA的Prefill计算耗时随序列长度上涨,首Token响应时延(TTFT)受到影响;只按注意力头做TP切分时,每张卡仍要处理完整序列。FlashKDA CP进一步沿序列维度切分输入,把长序列计算分摊到多张卡,目标就是压低超长序列下的TTFT,同时减少单卡激活与中间张量占用。
具体实现上,各卡先并行预计算,通过AllGather交换状态摘要,再按序合成前序分片的状态贡献,得到各自分片的起始状态,最后并行完成本段计算。
性能方面,100K长序列场景下解码时延低于10ms。DSA稀疏Attention结构起了作用,再加上DSpark投机推理等优化,在昇腾950DT平台32卡部署、100K输入长度、Global Batch 32的条件下,模型平均Decode计算时延低于 10 ms/Token(仅统计模型耗时,DSpark接受长度=4)。
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek、Kimi、豆包怎么选:2026年实测场景拆解

    别再纠结哪个模型“最强”了,2026年的AI市场早就过了单挑阶段。本文基于7月最新实测,拆解DeepSeek、Kimi、豆包、通义千问和文心一言的真实表现。从写代码、读论文到做PPT、聊家常,不同场景有完全不同的最优解。文章不讲虚的参数,只谈实际体验、价格成本和生态绑定,帮你配出最适合自己工作流的“AI组合拳”。

    来源 AI 应用前沿
  2. 蚂蚁灵波开源LingBot-Touch:触觉基础模型让机器人摸得更灵敏

    【TechWeb】11月10日消息,蚂蚁灵波科技开源触觉基础模型LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进

    来源 腾讯网
  3. 美团龙猫开源LongCat-2.5:1.6万亿参数、百万上下文,MIT协议可商用

    IT之家 11 月 9 日消息,11 月 2 日,美团龙猫发布面向长程智能体任务的原生多模态模型 LongCat-2.5。随后来到今天(9 日),美团宣布该模型正式开源。该模型采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权,是面向长程智能体任务的原生多模态模型。在复杂代码库开发、完整项目构建、Visual

    来源 腾讯网
  4. 腾讯优图DSpine开源:并行草稿逐层接力,SGLang吞吐最高提升4.01倍

    在大型语言模型(LLM)的无损推理加速中,推测解码(Speculative Decoding)已成为工业界标配。以 EAGLE-3 为代表的自回归草稿模型虽然预测准,但每多猜一个 token 就要多跑一步串行前向;而受扩散语言模型启发的 DFlash 将草稿生成彻底并行化 —— 一次骨干网络前向即可同时吐出整块候选 t

    来源 腾讯网
  5. 原生支持 3D 高斯泼溅,免费开源 3D 创作软件 Blender 5.3 发布

    IT之家 11 月 10 日消息,免费开源 3D 创作软件 Blender 5.3 现已正式发布。新版本加入了原生 3D 高斯泼溅(Gaussian Splatting)支持,Linux 平台默认图形后端切换为 Vulkan,同时带来了全新的项目管理功能,以及渲染和视频剪辑工具方面的多项改进。对于 Linux 用户来说

    来源 腾讯网
  6. 蚂蚁灵波开源LingBot-Touch:5000小时真实数据,触觉也能Token化

    11 月 10 日,蚂蚁灵波科技开源触觉基础模型 LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。该模型基于近 5000 小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进一步补齐精

    来源 AI 行业观察
  7. 黄仁勋道歉信牵出婚外情:英伟达CEO位置还稳吗

    黄仁勋出轨实锤了。当地时间11月8日,黄仁勋向英伟达员工发出一封道歉信,承认自己对妻子不忠,伤害了妻子和孩子。有冲突,就有马斯克,他已经出来表态。红杉资本合伙人Shaun Maguire发帖,批评黄仁勋做了件蠢事,但仍强调他在AI领域的重要性。马斯克转发,附上一句“我同意”。网友说话就没这么客气了。有网友调侃,黄仁勋实

    来源 腾讯网
  8. DeepSeek Harness日活154万:上线不足三月,单日消耗92T词元

    彭博社最新报道显示,DeepSeek 旗下的开源智能体应用框架 Harness 自上线以来表现抢眼,在短短不到三个月的时间里,其官方 API 的日活跃用户数(DAU)已经强势攀升至154万。这一数字相比9月30日桌面版正式推出后的7日均值271K 实现了显著增长。 惊人的算力消耗:长时智能体任务成“吞金兽” 随着日活用

    来源 AI 开发者社区
  9. LongCat-2.5开源:1.6万亿参数,MIT协议可商用

    今天,我们正式开源 LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练,无需额外授权。 LongCat-2.5是面向长程智能体任务的原生多模态模型,在复杂代码库开发、完整项目构建、Visual Coding 与专业办公场景中,端到端交付能力均有明显提升。模型总参数 1.6 万亿,每个 token 激活约

    来源 AI 开发者社区
  10. MiniMax闫俊杰谈中美大模型:性能达95%,坚持开源至AGI

    在当前全球人工智能发展的关键节点,MiniMax 创始人闫俊杰近日在与投资机构 Scottish Mortgage 投资经理劳伦斯·伯恩斯的对谈中,深入剖析了中美大模型的发展现状、技术路径以及公司未来的战略规划。 中美大模型发展现状:性能差距与后发赶超的挑战 在谈及中美大模型的差距时,闫俊杰指出,目前中国头部大模型已经

    来源 AI 开发者社区
  11. Airbnb 用 Chronon 推送模式把推荐嵌入更新压到 10 至 30 秒

    Airbnb 为其开源的特征平台 Chronon 新增了推送模式(Push Mode)与近实时(NRT)模型转换能力,能够在房客产生行为后的数秒内更新基于序列推荐的嵌入向量。该优化将嵌入的滞后时间从近两天缩短到不到一分钟,通常 10 至 30 秒即可完成更新。Airbnb 同时披露:离线 NDCG 指标提升 1.67%

    来源 AI 行业观察
  12. 京东11.11晚会AI重绘清明上河图,6096万观看量背后的内容实验

    一场AI晚会,京东让好看的内容接上能买的货。京东的内容生态,正在AI的加持下,在它最牢固的供应链底座上快速成长。10月31日晚8点,京东青春采销大吉和达人兔娘的数字人,一起穿越进了《清明上河图》,让国风市井撞上赛博科技。这是《京东11.11赛博联欢会·穿越惊喜夜》直播的开场。两人意外来到一座“赛博汴京”,必须在画中找齐

    来源 腾讯网
  13. 蚂蚁灵波开源LingBot-Touch:具身原生路线能否走通?

    近期,通用大模型在任务理解、复杂推理等能力上持续突破,机器人"大脑"走哪条技术路线,再次成为具身智能行业讨论的焦点:是接入通用大模型、以数字智能驱动物理动作,还是坚持具身原生、把物理感知和闭环操作作为底座? 11月10日,蚂蚁灵波科技开源触觉基础模型 LingBot-Touch,给出了自己的答案。该模型基于近5000小

    来源 AI 行业观察
  14. AI护栏被批量拆除:开源社区“消融者”让模型有求必应

    一群被称为“消融者”的技术人员正在互联网上大量发布移除了安全限制的AI模型,这些模型对用户的任何请求都照单全收。支持者称这能推动安全研究与网络防御,批评者则警告同样的工具也可能被用来制造炸弹等恶意用途。一场围绕AI护栏的攻防战正在开源社区悄然上演。

    来源 AI 科技快讯
  15. 三星Galaxy S27产线调整:Pro与Ultra合计产量占比瞄准七成以上

    【消息称三星拟将Galaxy S27高阶机型比重拉高至逾七成】《科创板日报》10日讯,为维持获利能力,三星电子传出计划调整Galaxy S27系列生产策略,预计将Galaxy S27 Pro与S27 Ultra两款高阶机种的产量比重拉高至逾70%,其余不到30%则分配给标准版S27及S27+,以减轻成本上升对整体获利的

    来源 腾讯网
  16. OpenAI个人Agent Dot可自动填邮箱验证码,登录不用自己动手了

    个人Agent集体往前迈了一步。 11月8日,OpenAI产品团队成员James Sun在社媒上发布一项产品更新,个人Agent产品Dot现在可以使用发到已连接邮箱的登录验证码,替用户完成登录。 收到提示后,用户可以选择只允许这一次,也可以允许它以后自动填写。James Sun还说,后续会继续改进登录体验。 消息发出后

    来源 AI 行业观察
向下滚动自动加载更多