寒武纪适配商汤SenseNova Loop-9B:Day 0打通循环计算推理链路
IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。 寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。 据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算

寒武纪对外披露,商汤新近发布的日日新 SenseNova Loop-9B 已拿到 Day 0 适配。
这一模型靠
Loop 结构反复调用模型层参数,再叠加流形约束超连接(mHC),在参数量有限的前提下拉长计算深度,面向复杂推理、代码、工具调用和多模态任务,进一步打磨 Agent、代码与数据分析场景中的表现,继续试探循环计算的能力边界。围绕它的架构特征,寒武纪在 vllm_mlu 上完成了 Day 0 适配,把模型在 MLU 平台上的推理链路跑通。适配落在三个方向上:Loop 循环结构、MLU 算子适配、mHC 路由优化。具体内容如下:
1. Loop 循环层展开:静态展开计算,复用标准推理机制
SenseNova Loop-9B 的模型参数约 9B,做法是循环执行共享的中间层,把 32 个物理解码层扩成 56 次层计算,这正是此次适配的核心技术点之一。借助这套高效的循环结构,模型官方 4bit 量化后权重只有约 4.9GB,部署显存需求压到 10 GB 以内,可部署的硬件范围随之明显拓宽,本地与私有化部署的门槛也有望降低。
寒武纪选的是静态展开方案:把循环计算转成 56 个顺序执行的层,以此兼容 vLLM 现有的模型执行与调度机制,让模型能复用 vLLM 标准调度和 KV cache 机制。实现时,不同执行槽位的循环层共用同一份权重存储,显存占用与 32 层模型持平。
2. MLU 算子适配:复用成熟算子实现,支持多模态推理
模型里的 Attention、Linear Attention 和 MLP 等核心计算模块,寒武纪直接换成了 vllm_mlu 中现成的 Qwen3-Next 系列 MLU 算子实现,借用已有算子能力,适配速度因此提了上来。多模态这部分则复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模态 Processor,完成图像输入处理与视觉特征提取,文本与图像输入两种场景下的推理链路都打通了。
3. mHC 路由性能优化:融合归一化计算,降低 Kernel Launch 开销
mHC 在模型循环计算里占着重要位置,它的双流信息路由要做归一化和 Sinkhorn 迭代计算,算子执行效率因此承压。寒武纪针对 mHC 路由计算做了专项优化:
归一化优化: 通过 TMO 融合接口实现归一化计算,减少算子执行开销。
Sinkhorn 优化:使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 带来的调度开销。