寒武纪Day 0适配商汤SenseNova Loop-9B:打通MLU推理链路
商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。寒武纪表示,针对 SenseNova Loop-9B 的架构特点,寒武纪基于 vllm_mlu 完成 Day 0 适配,打通模型在 MLU 平台上的

商汤新发布的日日新SenseNova Loop-9B,寒武纪已完成Day 0适配,这一消息由寒武纪官方公布。
按官方介绍,该模型用
Loop结构让模型层参数反复使用,再配合流形约束超连接(mHC),在参数规模有限的情况下把计算深度做大。它瞄准的是复杂推理、代码、工具调用和多模态任务,在Agent、代码与数据分析这些场景里表现更优,循环计算的能力边界也因此得到进一步摸索。
寒武纪方面称,围绕SenseNova Loop-9B的架构特点,公司以vllm_mlu为底座完成Day 0适配,模型在MLU平台上的推理链路已经跑通。适配工作集中在三块:Loop循环结构、MLU算子适配、mHC路由优化。
一、Loop循环层展开:静态展开计算,沿用标准推理机制
模型适配的关键技术点之一,就是Loop循环结构。SenseNova Loop-9B的参数规模约9B,共享的中间层被循环执行,32个物理解码层由此变成56次层计算。
Loop的循环效率带来一个直接结果:官方4bit量化后,模型权重只有约4.9GB,部署所需显存可压到10GB以内。可用的硬件范围因此宽了不少,本地部署和私有化部署的门槛也随之降低。
寒武纪选了静态展开方案,把循环计算拆成56个按顺序执行的层,目的是兼容
vLLM原有的模型执行与调度机制,让模型能直接沿用vLLM的标准调度和KV cache机制。实现时,不同执行槽位上的循环层共用同一份权重存储,显存占用与32层模型持平。
二、MLU算子适配:复用成熟算子实现,支持多模态推理
模型里的Attention、Linear Attention、MLP等核心计算模块,寒武纪换成了vllm_mlu中已有的Qwen3-Next系列MLU算子实现,靠现成算子能力把适配速度提上来。
多模态这边,则复用了Qwen3.5-VL的MLUQwen3_VisionTransformer和多模态Processor,图像输入处理与视觉特征提取得以实现,文本、图像两种输入场景下的推理链路都打通了。
三、mHC路由性能优化:融合归一化计算,降低Kernel Launch开销
mHC在模型循环计算中占据重要位置,它的双流信息路由要处理归一化和Sinkhorn迭代计算,算子执行效率因此面临不小压力。
围绕mHC路由计算,寒武纪做了针对性优化,分两条路走。
归一化方面:借助TMO融合接口完成归一化计算,算子执行开销随之减少。
Sinkhorn方面:用CNAgent Triton Skill自动生成Triton融合算子,把Sinkhorn计算收拢进单个Triton Kernel,多次Kernel Launch造成的调度开销因此下降。