寒武纪Day 0适配商汤SenseNova Loop-9B:打通MLU推理链路

资讯 IT之家 全文 1231 字 · 约 4 分钟读完 配图 3 张 分类vLLM商汤模型发布Loop

商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。寒武纪表示,针对 SenseNova Loop-9B 的架构特点,寒武纪基于 vllm_mlu 完成 Day 0 适配,打通模型在 MLU 平台上的

所属频道 模型发布国产大模型
有网友Autumn_Dream提供了线索,在此致谢。

图片

商汤新发布的日日新SenseNova Loop-9B,寒武纪已完成Day 0适配,这一消息由寒武纪官方公布。

按官方介绍,该模型用Loop结构让模型层参数反复使用,再配合流形约束超连接(mHC),在参数规模有限的情况下把计算深度做大。它瞄准的是复杂推理、代码、工具调用和多模态任务,在Agent、代码与数据分析这些场景里表现更优,循环计算的能力边界也因此得到进一步摸索。

寒武纪方面称,围绕SenseNova Loop-9B的架构特点,公司以vllm_mlu为底座完成Day 0适配,模型在MLU平台上的推理链路已经跑通。适配工作集中在三块:Loop循环结构、MLU算子适配、mHC路由优化。

一、Loop循环层展开:静态展开计算,沿用标准推理机制

模型适配的关键技术点之一,就是Loop循环结构。SenseNova Loop-9B的参数规模约9B,共享的中间层被循环执行,32个物理解码层由此变成56次层计算。

Loop的循环效率带来一个直接结果:官方4bit量化后,模型权重只有约4.9GB,部署所需显存可压到10GB以内。可用的硬件范围因此宽了不少,本地部署和私有化部署的门槛也随之降低。

寒武纪选了静态展开方案,把循环计算拆成56个按顺序执行的层,目的是兼容vLLM原有的模型执行与调度机制,让模型能直接沿用vLLM的标准调度和KV cache机制。实现时,不同执行槽位上的循环层共用同一份权重存储,显存占用与32层模型持平。

二、MLU算子适配:复用成熟算子实现,支持多模态推理

模型里的Attention、Linear Attention、MLP等核心计算模块,寒武纪换成了vllm_mlu中已有的Qwen3-Next系列MLU算子实现,靠现成算子能力把适配速度提上来。

多模态这边,则复用了Qwen3.5-VL的MLUQwen3_VisionTransformer和多模态Processor,图像输入处理与视觉特征提取得以实现,文本、图像两种输入场景下的推理链路都打通了。

三、mHC路由性能优化:融合归一化计算,降低Kernel Launch开销

mHC在模型循环计算中占据重要位置,它的双流信息路由要处理归一化和Sinkhorn迭代计算,算子执行效率因此面临不小压力。

围绕mHC路由计算,寒武纪做了针对性优化,分两条路走。

  • 归一化方面:借助TMO融合接口完成归一化计算,算子执行开销随之减少。

  • Sinkhorn方面:用CNAgent Triton Skill自动生成Triton融合算子,把Sinkhorn计算收拢进单个Triton Kernel,多次Kernel Launch造成的调度开销因此下降。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 寒武纪Day 0适配商汤SenseNova Loop-9B,打通循环计算推理链路

    IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度

    来源 腾讯网
  2. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
  3. 千万token上下文:98%时间耗在选token,如何再快22倍?

    编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu

    来源 腾讯网
  4. 腾讯混元Hy4 flash发布:224B参数,张军称性价比最高

    【TechWeb】11月16日消息,今日,腾讯混元最新语言模型Hy4 flash正式发布。腾讯公司公关总监张军在社交平台发文称,“这是迄今为止性价比最高的混元模型。”混元Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。该模型总参数量为224B(其中64B En

    来源 腾讯网
  5. OVHcloud推出首个AI模型家族Olala,首发7A1B开源模型

    IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。 Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、

    来源 AI 行业观察
  6. 困扰物理学界50多年的难题,科学家靠GPT-6 Astra给出新方案

    智东西11月16日报道,今日,OpenAI发布科学博客首篇客座文章,GPT-6 Astra参与了一项标准模型研究,帮助物理学家提出一种在“格点”上定义标准模型的候选方案。 加州大学圣塔芭芭拉分校理论粒子物理学组负责人、OpenAI访问科学家Nathaniel Craig在博客中介绍了他如何与GPT-6 Astra合作,

    来源 AI 行业观察
  7. 字节跳动 Seedance 2.5 4K 视频生成模型 API 全面开放

    IT之家 11 月 16 日消息,字节跳动火山引擎官方今日宣布,Seedance 2.5 4K 的 API 全面开放,开发者与企业客户可通过接口调用该 4K 视频生成模型。 IT之家注意到,火山引擎于 10 月 23 日正式发布了 Seedance 2.5 4K,官方称通过专项训练,Seedance 2.5 4K 更充

    来源 AI 行业观察
  8. 火山引擎宣布Seedance2.54K API全面开放,支持10-bit色深与样片模式

    11月16日,字节跳动旗下火山引擎宣布,Seedance2.54K视频生成模型的API全面开放,开发者与企业客户即日起可通过接口直接调用该模型,4K级视频生成能力由此进入规模化接入阶段。 据悉,火山引擎已于10月23日正式发布Seedance2.54K。官方称,该模型经专项训练,对人物表情、细微动作

    来源 AI 开发者社区
  9. 火山引擎Seedance2.5 4K API开放:10-bit色深与样片模式可调用

    11月16日,火山引擎宣布Seedance 2.5 4K视频生成模型API全面开放,开发者与企业客户可即日起通过接口调用,4K级视频生成进入规模化接入阶段。该模型10月23日发布,经专项训练,对人物表情、细微动作与画面细节学习更充分,是Seedance 2.5代最强版本,并支持Draft模式。

    来源 AI 产业速递
  10. 谷歌Gemini智能体测试中多次突破防护,攻击真实网站

    近日,人工智能安全研究公司 Trajectory Labs 与目标组织 Epoch AI 联合发布报告披露,在10月份开展的模型安全测试中,谷歌 Gemini4Argon 自主 AI 智能体在面对高压任务时,多次突破内置 API 安全防线与网络限制,对真实组织基础设施发起主动攻击。 在测试过程中,研

    来源 AI 开发者社区
  11. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  12. GPT-6 Astra自行中止对齐评估:模型承认虚构禁令

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性

    来源 AI 科技快讯
  13. OpenAI GPT-6 Astra虚构禁令终止对齐评估 安全任务表现引质疑

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性低表现有关

    来源 AI 行业观察
  14. Qwen4-Max四项实测:2.4万亿参数模型能自己交活了

    11月15日,千问发布新一代旗舰模型Qwen4-Max。新模型总参数2.4万亿,具备原生视觉能力,上下文窗口达到百万token。官方将其定位为“全天候AI新同事”,主打方向是长程任务与成果交付。为了验证这一定位能否在实际使用中成立,我们设计了四项测试,包含了前端互动网页、Godot 3D动作游戏、视频白模预演,以及一份

    来源 腾讯网
  15. 腾讯混元发布Hy4 flash:224B参数,单任务成本只有Hy4的1/20

    【环球网科技综合报道】11月16日,腾讯混元发布最新语言模型Hy4 flash。该模型总参数量224B(其中64B Engram参数),激活参数12B,支持多模态和1M上下文长度。腾讯混元称,Hy4 flash是其迄今性价比最高的Hy模型,每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比 Hy

    来源 腾讯网
  16. 华为云开源CloudRobo-WM1.2:两榜单均列第一

    华为云在杭州发布并开源昇腾原生具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络和原生DualAct架构实现动作生成。官方评测显示,其在RoboTwin2.0平均得分88.98%、LiberoPro2.0平均得分81.7%,均位列第一,并围绕世界建模、动作生成等构建五项核心技术。

    来源 凤凰科技
  17. 火山引擎Seedance 2.5 4K开放API:支持480P样片试拍

    11月16日,火山引擎官方宣布视频生成模型Seedance 2.5 4K的API全面开放。该模型于10月23日正式发布,官方称其为Seedance 2.5这一代中最强版本,支持480P样片草案模式与10-bit色深,部分海内外影视制作、后期公司已试用。

    来源 凤凰科技
  18. Cadence 推 Maestro 模型组合:芯片设计 AI 竞争转向专业化

    随着GPT-Synopsys 发布,以及 Agentrys、ChipAgents 等 AI 原生创业公司杀 入芯片设计领域, EDA 行业的 AI 竞争 达到了前所未有的高度 。 面对这一变化,Cadence 突然推出 Maestro 专业化 AI 模型组合,强调领域专用模型、智能模型路由、客户专有数据,以及与成熟 E

    来源 AI 行业观察
  19. 书生-S2.1 Flash开源:科研任务推理成本仅星河十分之一

    近日,上海AI实验室发布并开源书生科学多模态大模型 S2.1 Flash(简称书生-S2.1 Flash)。模型融合实验室近期一系列前沿原创技术,在科学数据理解、复杂科研任务闭环执行能力上实现进阶,且同一任务下其推理成本仅为智能体模型书生·星河的十分之一,让科研工作提质、提速、提效,实现多快好省。

    来源 AI 开发者社区
  20. Hy4 flash 发布:224B 总参数、12B 激活,API 价格大幅下调

    今天,我们正式推出 Hy4 flash,这是迄今为止最高性价比的 Hy 模型,总参数量为224B(其中64B Engram 参数),激活参数 12B,支持多模态和1M 上下文长度,API价格相比 Hy4 大幅降低。 我们通过一系列工作在极致优化成本的同时兼顾智能水平和实用性: 在预训练阶段,Hy4

    来源 AI 开发者社区
向下滚动自动加载更多