寒武纪Day 0适配商汤SenseNova Loop-9B,打通循环计算推理链路
IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度
商汤科技在11月18日的前一晚正式推出 SenseNova Loop-9B 模型,寒武纪随后于11月18日宣布完成适配。
寒武纪方面称,对商汤这次新发布的日日新 SenseNova
Loop-9B,适配工作已经做完。
按照官方介绍,这个模型依靠循环执行共享的中间层来扩展层计算。
针对 SenseNova Loop-9B 的架构特点,寒武纪基于自家方案做了适配,重点落在 Loop 循环结构等环节。
1. Loop 循环层展开:静态展开计算,复用标准推理机制
Loop 循环结构是这次适配的关键技术点。SenseNova Loop-9B 的模型参数约 9B,它通过反复执行共享的中间层,把 32 个物理解码层撑到 56 次层计算。
靠的就是 Loop 这种高效循环结构,模型官方给出了相应的性能表现。
为了让 vLLM 现有的模型执行与调度机制照常运转,寒武纪选择静态展开方案,把循环计算拆成 56 个依次执行的层,模型因此能沿用 vLLM 的标准调度。
2.
模型里的 Attention 等部分,寒武纪也做了对应处理。
多模态这块,则复用了 Qwen3.5-VL 的相关能力。
3. mHC 路由性能优化:融合归一化计算,降低 Kernel Launch 开销
mHC 在模型的循环计算中占着重要位置,它的双流信息路由要经过归一化等计算环节。
围绕 mHC 路由计算,寒武纪做了专项优化:
- 归一化优化:通过相应手段减少重复计算。
- Sinkhorn 优化:改用新的实现方式。