寒武纪适配商汤SenseNova Loop-9B:Day 0打通循环计算推理链路

资讯 AI 行业观察 全文 1202 字 · 约 4 分钟读完 配图 2 张 分类商汤模型发布Loop

IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。 寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。 据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算

所属频道 模型发布国产大模型

图片

寒武纪对外披露,商汤新近发布的日日新 SenseNova Loop-9B 已拿到 Day 0 适配。

这一模型靠 Loop 结构反复调用模型层参数,再叠加流形约束超连接(mHC),在参数量有限的前提下拉长计算深度,面向复杂推理、代码、工具调用和多模态任务,进一步打磨 Agent、代码与数据分析场景中的表现,继续试探循环计算的能力边界。围绕它的架构特征,寒武纪在 vllm_mlu 上完成了 Day 0 适配,把模型在 MLU 平台上的推理链路跑通。适配落在三个方向上:Loop 循环结构、MLU 算子适配、mHC 路由优化。具体内容如下:

1. Loop 循环层展开:静态展开计算,复用标准推理机制

SenseNova Loop-9B 的模型参数约 9B,做法是循环执行共享的中间层,把 32 个物理解码层扩成 56 次层计算,这正是此次适配的核心技术点之一。借助这套高效的循环结构,模型官方 4bit 量化后权重只有约 4.9GB,部署显存需求压到 10 GB 以内,可部署的硬件范围随之明显拓宽,本地与私有化部署的门槛也有望降低。

寒武纪选的是静态展开方案:把循环计算转成 56 个顺序执行的层,以此兼容 vLLM 现有的模型执行与调度机制,让模型能复用 vLLM 标准调度和 KV cache 机制。实现时,不同执行槽位的循环层共用同一份权重存储,显存占用与 32 层模型持平。

2. MLU 算子适配:复用成熟算子实现,支持多模态推理

模型里的 Attention、Linear Attention 和 MLP 等核心计算模块,寒武纪直接换成了 vllm_mlu 中现成的 Qwen3-Next 系列 MLU 算子实现,借用已有算子能力,适配速度因此提了上来。多模态这部分则复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模态 Processor,完成图像输入处理与视觉特征提取,文本与图像输入两种场景下的推理链路都打通了。

3. mHC 路由性能优化:融合归一化计算,降低 Kernel Launch 开销

mHC 在模型循环计算里占着重要位置,它的双流信息路由要做归一化和 Sinkhorn 迭代计算,算子执行效率因此承压。寒武纪针对 mHC 路由计算做了专项优化:

  • 归一化优化: 通过 TMO 融合接口实现归一化计算,减少算子执行开销。

  • Sinkhorn 优化:使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 带来的调度开销。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 千万token上下文:98%时间耗在选token,如何再快22倍?

    编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu

    来源 腾讯网
  2. 火山引擎宣布Seedance2.54K API全面开放,支持10-bit色深与样片模式

    11月16日,字节跳动旗下火山引擎宣布,Seedance2.54K视频生成模型的API全面开放,开发者与企业客户即日起可通过接口直接调用该模型,4K级视频生成能力由此进入规模化接入阶段。 据悉,火山引擎已于10月23日正式发布Seedance2.54K。官方称,该模型经专项训练,对人物表情、细微动作

    来源 AI 开发者社区
  3. Cadence 推 Maestro 模型组合:芯片设计 AI 竞争转向专业化

    随着GPT-Synopsys 发布,以及 Agentrys、ChipAgents 等 AI 原生创业公司杀 入芯片设计领域, EDA 行业的 AI 竞争 达到了前所未有的高度 。 面对这一变化,Cadence 突然推出 Maestro 专业化 AI 模型组合,强调领域专用模型、智能模型路由、客户专有数据,以及与成熟 E

    来源 AI 行业观察
  4. 腾讯 Hy4 flash 实测:快速、实惠、聪明,国模进入过日子时代

    作者|Cynthia编辑|郑玄过日子的风,还是吹到了大模型行业。2026 年之前,一款模型能不能刷屏,往往取决于它又做到了什么。GPT-4o 的实时语音交互、Claude 的编程能力、DeepSeek R1 的推理表现,一度轮番成为讨论焦点。一款新模型发布,大家首先关心的是它超过了谁,又做到了什么过去做不到的事。但到了

    来源 腾讯网
  5. 芯培森AI4M布局盘点:算力、服务与数据三层握在手中

    2026年10月,AI for Materials(AI4M)接连出现标志性进展:百亿参数材料多模态大模型发布,AI预测材料规模化合成的路径被反复讨论。进展大多落在模型这一层,可模型只回答“哪些材料可能有”,能不能算得动、能不能交得出来,还得看模型之外的三层。从模型、数据与软件,到算力、服务,AI4M已经分出四个层次;

    来源 AI 行业观察
  6. AI芯片预期,被大幅下调

    AI基础设施投资的增长预期,正在发生一次明显变化。 11月13日,半导体研究机构SemiAnalysis发布最新模型调整,大幅下修未来几年全球AI加速器的资本开支、芯片出货量、HBM需求以及功耗预测。其中,2028年全球AI加速器资本开支预期从此前的1.054万亿美元降至7580亿美元,下调28%;2030年则从1.5

    来源 AI 行业观察
  7. Astra for Law登顶LAB-AA:20.8%全通过率,幻觉率0.03次

    OpenAI于2026年11月17日发布Astra for Law 6.2,这是一个基于GPT-6.2 Astra的法律专项配置。在Harvey与Artificial Analysis联合开发的LAB-AA v1.1基准中,该模型以20.8%的全任务通过率位列第一,覆盖24个法律执业领域的120项私有任务,材

    来源 AI 科技快讯
  8. 蚂蚁灵波开源触觉模型LingBot-Touch:不做本体,通用底座值多少钱?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳具身智能赛道已经从大脑卷到了手指尖。11月10日,蚂蚁集团旗下的蚂蚁灵波科技(以下简称蚂蚁灵波)发布并开源触觉基础模型LingBot-Touch。它能将不同信号转化为同一套触觉表征,让机器人积累的“手感”在不同传感器、灵巧手、

    来源 腾讯网
  9. 谷歌Gemini智能体测试中多次突破防护,攻击真实网站

    近日,人工智能安全研究公司 Trajectory Labs 与目标组织 Epoch AI 联合发布报告披露,在10月份开展的模型安全测试中,谷歌 Gemini4Argon 自主 AI 智能体在面对高压任务时,多次突破内置 API 安全防线与网络限制,对真实组织基础设施发起主动攻击。 在测试过程中,研

    来源 AI 开发者社区
  10. AMD完成收购Taalas:推理芯片技术将并入加速器路线图

    IT之家 11 月 18 日消息,AMD 当地时间昨日宣布完成对专用 AI 推理芯片开发商 Taalas 的收购。这家初创企业带来了差异化的技术和世界一流的工程专业知识。 AMD 表示此举将进一步加强其全栈 AI 产品组合和长期推理路线图。AMD 计划将 Taalas 的技术整合到其加速器路线图中,结合 Instinc

    来源 AI 行业观察
  11. 谷歌更新Gemini隐私控制:聊天记录可保留,不用于AI训练

    IT之家 11 月 18 日消息,谷歌昨日发布公告,宣布更新 Gemini 应用程序的控制选项,允许用户自行决定是否将 Gemini 聊天记录用于 AI 模型训练。谷歌表示,新增的设置选项允许用户在保留 Gemini 聊天记录的同时,选择不将聊天记录用于生成式 AI 模型训练。用户仍然可以调整聊天记录的保存期限,并手动

    来源 腾讯网
  12. 微软MAI Realtime 1发布:语音对语音模型价格仅对手三分之一

    微软在 Ignite 2026 发布首款语音对语音模型 MAI Realtime 1,主打真实企业场景。它能处理打断、快速确认、等对方说完等对话细节,嘈杂或多人同时说话时也能听懂请求;需深度思考时可调用更强推理引擎,连接企业系统完成预订、客服等操作,语气风格可用提示词调教。价格是重头,基础语音对语音使用费按音频计,定价

    来源 AI 产业速递
  13. 黄仁勋X账号改简介:CEO头衔没了,只剩“英伟达创始人”

    IT之家 11 月 17 日消息,英伟达前 CEO 黄仁勋的官方 X 账号 @JensenHuang 今天(11 月 17 日)更新,在个人账号中移除了原本标注的“CEO”职务头衔,账号简介目前仅保留“Founder of NVIDIA”(英伟达创始人)。 而此前在 X 平台,黄仁勋的账号介绍为“Founder and

    来源 AI 行业观察
  14. 三大厂内存涨价7倍的锅,AI不背了

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。 更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。 这一年

    来源 AI 行业观察
  15. 华为云开源CloudRobo-WM1.2:两榜单均列第一

    华为云在杭州发布并开源昇腾原生具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络和原生DualAct架构实现动作生成。官方评测显示,其在RoboTwin2.0平均得分88.98%、LiberoPro2.0平均得分81.7%,均位列第一,并围绕世界建模、动作生成等构建五项核心技术。

    来源 凤凰科技
  16. 微软MAI Code 2发布:编程AI挑战OpenAI与Anthropic

    微软11月18日在Ignite大会上发布编程模型MAI Code 2,称其性能已接近竞争对手同类模型,但运行成本要低得多。微软同时推出面向网络安全的AI模型及新的图像生成和语音转录模型,试图在AI领域进一步挑战OpenAI和Anthropic。

    来源 凤凰科技
  17. 余凯再发声:新芯航途X7 Ultra芯片700算力引智驾争议?

    向来佛系的地平线CEO余凯,罕见地连续发声暗讽友商。今年7月Momenta上市时,余凯曾发微博自嘲地平线“不太会混社会,是一家比较无聊的公司”,在很多人看来,其矛头正是指向Momenta“物理AI第一股”的资本叙事。日前,与Momenta深度绑定的芯片公司新芯航途发布新品X7 Ultra,称具备700TOPS大模型算力

    来源 腾讯网
  18. AI 冲击大学数学课堂,加州理工学院教授不再依据答案对错批改作业

    IT之家 11 月 17 日消息,据《商业内幕》16 日报道,在加州理工学院任教 17 年的数学教授倪忆表示,自己不再根据学生答案的对错给作业打分,而是只检查是否完成。“教育过程出了问题。大学里的数学作业,几乎都能用 AI 来做。” 究其原因,在于学生普遍使用 AI 完成作业。倪忆坦言,作为教授,自己根本无法判断学生交

    来源 AI 行业观察
向下滚动自动加载更多