摩尔线程Kimi K3.1 Pro训练链路验证完成:双机16卡跑400步

资讯 腾讯网 作者:福布斯 全文 1036 字 · 约 3 分钟读完 分类KimiK3.1月之暗面多模态芯片

11月17日,摩尔线程宣布,其实验室已完成月之暗面Kimi K3.1 Pro模型的训练链路适配,并在双机16卡配置下连续完成400步训练验证,未出现数值溢出或异常中断。Kimi K3.1 Pro为2.8万亿参数MoE架构原生多模态模型,从架构特性看,其动态稀疏注意力与专家路由机制对多卡通信和显存管理构成较高门槛。从厂商

所属频道 模型发布算力与芯片开源生态国产大模型

11月17日,摩尔线程对外称,其实验室已经跑通月之暗面Kimi K3.1 Pro模型的训练链路适配;在双机16卡配置下,训练连续推进400步,期间没有发生数值溢出,也没有异常中断。Kimi K3.1 Pro是2.8万亿参数的MoE架构原生多模态模型,其动态稀疏注意力与专家路由机制,对多卡通信和显存管理都提出了不低的要求。从厂商披露的信息看,国产GPU与大模型的适配节奏正在加快。壁仞科技2026年中报显示,数家大模型企业已在壁砺千卡集群上完成多模态预训练与强化学习,精度对齐国际产品;寒武纪2026年半年度业绩说明会披露,训练侧正推进DeepSeek、Qwen、混元等系列的训练适配,并向千卡、万卡集群场景延伸;百度在Create 2026上公布,昆仑芯P800全国产集群完成了文心5.1重要版本的训练,有效训练率97%;海光信息2026年半年度材料则披露,其DCU已适配400余款主流大模型,覆盖99%非闭源大模型。

摩尔线程这次单独披露了400步连续训练、损失曲线与梯度检查等细节。从公开披露口径看,针对2.8万亿参数MoE多模态模型给出这类工程细节的案例仍不多见。不过,本次做的仍是裁剪配置下的训练链路验证,并不等同于完整全规模预训练。

测试用的就是裁剪配置:语言主干截取13层、16路由专家(Top‑8激活),完整的27层视觉塔与跨模态投影模块予以保留,训练基于MedPix‑VQA图文数据集随机初始化。摩尔线程实验室披露的数据显示,训练损失从8.9365(第21—70步均值)收敛到2.1802(末50步均值),验证集损失由6.5297降到4.6873,显存峰值44.80GiB,视觉分支参与了参数更新。

工程层面,这次适配的重点落在分布式训练链路的系统性打通上,单卡峰值并非重点。摩尔线程补上了Kimi K3.1 Pro混合注意力与MoE算子的前向、梯度实现,参数、梯度与优化器状态的分片管理交给FSDP2,跨节点通信则由MCCL承担。官方表示,本次只是裁剪配置下的链路验证,用来检验训练功能与损失趋势,完整规模预训练将另行开展。

据TrendForce集邦咨询预测,2026年中国市场高端AI芯片出货量约500万片、同比增83%,本土方案份额接近90%(含云厂商自研ASIC)。摩尔线程此番公布的400步连续训练与梯度检查结果,为国产GPU在训练侧的可复现性提供了一个可供参照的工程节点。但从裁剪配置走到完整万亿参数模型的全规模训练,集群规模扩展与长稳运行这两道考验仍要跨过去。

封面图片:摩尔线程官网

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Kimi K3.1 Pro开源完整权重:2.8T MoE模型本地部署与编程工具盘点

    本周 GitHub 热门项目聚焦 Kimi K3.1 Pro 开放完整权重,支持百万 Token 上下文。同时涌现多款本地化 AI 工具:Ripple-65B 专注编程推理,Magpie 统一管理多模型配置,Cicada 实现会议实时双语字幕,cinecode 则尝试用代码自动化生成视频。这些工具正从云端向本地桌面迁移

    来源 AI 应用前沿
  2. 豆包工作接入Kimi、GLM、DeepSeek:额度倍率背后的算力账单

    11月12日,字节跳动旗下办公智能体产品豆包工作宣布完成产品更新,在原有豆包2.1 Lite和豆包2.1 Pro两款自研模型之外,新增接入Kimi K3.1 Pro、GLM 5.3、DeepSeek V4.1 Flash等多款第三方模型。 2026年9月,字节跳动旗下豆包正式推出面向生产力场景的全新Agent产品与品牌

    来源 AI 行业观察
  3. 英伟达博通到光模块,AI硬件资产预期重估

    导语:从英伟达、博通到光模块、半导体设备,AI硬件资产正在经历一场预期重估。过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。投资者当时的逻辑并不复杂:只要微软、谷歌、亚...

    来源 腾讯网
  4. 科创芯片ETF博时588990:指数涨超2%,近5日3天净流入2171.86万元

    截至2026年11月18日 09:59,科创芯片ETF博时(588990)跟踪指数上证科创板芯片指数(000685)强势上涨2.40%,成分股盛合晶微上涨10.52%,摩尔线程上涨10.23%,沐曦股份上涨6.53%,寒武纪,盛科通信等个股跟涨。流动性方面,科创芯片ETF博时盘中换手5.03%,成交2681.32万元。

    来源 腾讯网
  5. Liquid AI发布d1.2决策模型:校准误差0.8,低于Jev与GPT-6

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,昨日,麻省理工学院(MIT)孵化的美国AI模型独角兽Liquid AI发布全模态决策模型d1.2和d1.2-ultra,两款模型均可处理文本、图像和音频。其中,d1.2-ultra在第三方评测机构Artificial Analysi

    来源 腾讯网
  6. SpaceX抗住AI抛售潮:摩根士丹利维持增持,目标价300美元

    大摩认为,SpaceX正在与传统的“AI交易”脱钩,背后有三大支撑:星链"类债券"属性(一颗星舰卫星回收期仅20周)、Terafab至2035年高达4900亿美元半导体供应链资本开支、以及估值极度低估——2028年预期市盈率仅11.2倍,远低于标普500的16倍。

    来源 华尔街见闻
  7. 黄仁勋辞任后英伟达首份财报:营收1158亿美元,新CEO称中国市场归零

    这是黄仁勋辞去英伟达职务的第七天。 刚刚,英伟达发布2026年第三季度财报(2027财年第三财季),这是公司创始人黄仁勋11月12日辞职后的首份财报,由CFO、临时CEO科莱特·克雷斯(Colette Kress)主持财报电话会。 如果只看财务数字,这依然是全球半导体行业最受关注的一份成绩单。但这一次,市场关注的显然不

    来源 AI 行业观察
  8. 微软Maia 200量产:台积电3纳米,每瓦token量最高提升1.7倍

    在昨日(11 月 17 日)的 Ignite 2026 活动上,微软宣布第二代自研 AI 加速器 Maia 200 已正式投入规模化生产,并开始在数据中心里撑起微软最大规模的前沿 AI 大模型。这款芯片最硬的成绩单,是每瓦 token 处理量:与“领先 GPU 基础设施”相比,在 Microsoft

    来源 AI 开发者社区
  9. 微软Maia 200投产:3纳米工艺,每瓦性能最高提升1.7倍

    微软在11月17日Ignite 2026宣布,第二代自研AI加速器Maia 200已规模化生产,并开始在数据中心支撑其最大规模前沿AI大模型。该芯片主打每瓦token处理量,在Teams、Copilot、Cowork等内置AI功能中,较领先GPU基础设施最高提升1.7倍,同等电力下产出近一倍,面向AI推理。

    来源 AI 产业速递
  10. 黄仁勋辞任英伟达CEO:国产GPU放量,寒武纪净赚37亿

    华人科技商业界领袖、执掌英伟达33年、推动其成为全球市值第一大公司的黄仁勋,因突发事件辞去了总裁、首席执行官及董事职务。 在英伟达官方网站,黄仁勋已被移除管理层序列,和克里斯·马拉科夫斯基一同被放到了“创始人”一栏中。甚至在X平台上,他的蓝V认证、CEO头衔也都消失了。 由黄仁勋把控这家全球AI算力霸主的时代,已经在实

    来源 AI 行业观察
  11. 半导体设备质量管理体系标准落地,能否带动板块景气度继续向上?

    消息面上,工信部批准发布《半导体设备与零部件质量管理体系》行业标准,旨在系统规范半导体设备与零部件全生命周期质量管理。新标准深度贴合行业特性,重点规范超洁净全过程监管、供应链韧性管理、设备可靠性管控、纳米级工艺精度控制,以及整机和关键零部件全生命周期追溯等核心环节,是我国半导体设备与零部件行业第一套...

    来源 腾讯网
  12. 英伟达投资组合飙至650亿美元,黄仁勋离场引创投圈疑虑

    英伟达的私人投资组合价值在过去九个月内近乎翻了三倍,达到约650亿美元,主要得益于CEO黄仁勋激进的交易策略以及投资组合公司估值的持续攀升。然而,随着黄仁勋的离场,市场对英伟达未来投资交易的走向产生疑虑,这家AI芯片巨头能否延续创投狂飙成为行业焦点。

    来源 AI 科技快讯
  13. 黄仁勋:愿重返英伟达CEO,治理与AI芯片格局引讨论

    英伟达创始人黄仁勋在辞任后首次公开表态,称若董事会与股东允许,他将“感到荣幸”重返CEO岗位。这一简短声明迅速引发市场对英伟达治理结构、战略连续性和AI芯片竞争格局的关注。分析认为,创始人回归既能稳定军心,也可能带来权力集中与继任计划不清的争议。

    来源 AI 科技快讯
  14. 阿里腾讯字节AI投入加码:资本开支翻倍,资产负债表承压

    科技大厂的花钱逻辑,正在被AI(人工智能)急速改写。2026年上半年,腾讯、百度、京东三家的资本开支合计约1126亿元,体量同比几乎翻倍;阿里在2026年二季度就砸下677亿元,同比增幅超过七成。AI加速芯片、数据中心、高性能网络基础设施成为重点投向。大洋彼岸的节奏更为激进。2026年第三季度,亚马逊、谷歌、微软、Me

    来源 腾讯网
  15. 全球前沿探访记|汇正财经直击慕尼黑电子展:中国PCB从“成本选项”走向“技术对标”

    全球电子元器件领域规格最高的专业盛会——Electronica 2026近日在德国慕尼黑展览中心举行。本届展会开放全部18个展厅,汇聚超3500家全球展商,围绕“全电气社会”愿景,聚焦人工智能、网络韧性与能源效率三大主题。 中国力量在本届展会上的存在感尤为突出。以近百家A股电子产业链公司为主力的参展阵容,覆盖从芯片设计

    来源 腾讯网
  16. 82 亿美元买下李飞飞团队,AMD 不想再只靠卖芯片挑战英伟达了

    今天,AMD 宣布正式完成了对 World Labs 的收购。AI 科学家李飞飞正式加入 AMD,出任执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报。 “芯片女王”和“AI 教母”同框的画面,在全网刷屏了。 AMD 买下 World Labs “芯片女王”也是扩张女王 按照此前披露的交易协议,这是一笔价值约 82

    来源 AI 行业观察
  17. 英伟达董事会:无意让黄仁勋回归

    尽管特朗普总统、马斯克及多位硅谷高管公开施压,英伟达董事会仍明确表示「不打算」让被罢免的CEO黄仁勋回归。这场围绕芯片巨头最高权力的博弈,把公司治理、政治干预与AI算力霸权三条线索交织在一起,也让「董事会独立性」成为硅谷新的争议焦点。

    来源 AI 科技快讯
  18. 好未来二季度净利转亏4744万美元,投资智谱成暗线

    作者 | 谢芸子 编辑 | 张帆 想靠AI赚钱的教育公司,先被AI上了一课。 今年6月,粉笔创始人张小龙在人民大学的一场讲座上,大秀“炒科技股”的回报,并批评在场学生“除了混进体制内,没什么本事”。 风波以道歉和辞职收场。但他的确言行一致。上半年,粉笔的权益类投资从“几乎为零”飙到4.79亿元,包括2倍杠杆的美股半导体

    来源 AI 行业观察
  19. 英伟达非上市持股增至655亿美元:AI创投格局会怎么变?

    人工智能芯片巨头英伟达的投资版图再次引发行业震动。根据 TechCrunch 的最新报道,英伟达最新披露的数据显示,其对非上市初创公司的持股价值已经暴增至65.5亿美元(约合当前人民币数百亿元),较今年1月报告的22亿美元实现了大幅增长。这一资产的膨胀,既得益于公司近期的大规模新投资,也包含了现有投

    来源 AI 开发者社区
向下滚动自动加载更多