Loop-9B 完成寒武纪适配,披露推理优化
寒武纪基于 vllm_mlu 适配 SenseNova Loop-9B,通过静态展开与权重共享,将 32 个物理解码层映射为 56 次层计算,并复用现有调度与 KV cache 机制。报道还介绍了多模态算子复用及 mHC 路由融合优化,称模型官方 4bit 权重约 4.9GB、部署显存需求低于 10GB。
AI 深度解读
SenseNova Loop-9B 发布后,寒武纪宣布完成 Day 0 适配,让这款采用循环计算架构的模型在 MLU 平台跑通推理。这里值得关注的,是适配团队怎样把新架构接入已有推理框架:循环层静态展开、计算算子复用、路由计算融合。
对程序员来说,这条消息提供了一个工程案例:模型可以通过复用参数增加计算深度,但权重更小,不代表计算更少;发布当天完成适配,也不能直接证明性能已经领先。
约 9B 参数,为什么能执行 56 次层计算
SenseNova Loop-9B 的做法,是让中间层共享参数并循环执行,将 32 个物理解码层扩展为 56 次层计算。可以把它理解成:同一套处理模块被重复使用,让输入经历更多轮处理,而不是为每一轮都准备一套新参数。
模型还结合了流形约束超连接(mHC),面向复杂推理、代码、工具调用和多模态任务。原文把提升 Agent、代码与数据分析表现列为目标,但没有给出对应评测结果。
参数复用带来的直接收益是权重体积。报道给出的数据是:官方 4bit 量化后,权重约 4.9GB,部署显存需求低至 10 GB 内。
参数规模、计算次数和部署显存,是三个需要分别看的指标。
56 次层计算仍然需要实际执行,不能因为参数约 9B,就推断它的延迟与普通同规模模型相同。报道也没有说明「10 GB 内」对应的硬件、上下文长度、并发量以及是否包含图像输入,暂时不能据此估算自己的部署容量。
Day 0 适配靠什么跑通
寒武纪基于 vllm_mlu 完成适配,三个方向对应三类工程问题。
第一类是循环结构如何接入框架。适配团队把循环计算静态展开成 56 个顺序执行的层,以复用 vLLM 标准调度和 KV cache 机制。这里的静态展开,是提前把执行顺序排好,让框架按已有方式调度。
不同执行槽位的循环层仍共享同一份权重存储。原文称显存占用与 32 层模型相同,但这一表述出现在权重共享的语境中,不能直接外推成所有运行条件下的总显存占用都相同。
第二类是核心计算如何落到硬件。Attention、Linear Attention 和 MLP 模块,复用了 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现;图像输入则复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模态 Processor,处理图像并提取视觉特征。
第三类是额外路由计算的开销。mHC 的双流信息路由涉及归一化和 Sinkhorn 迭代,适配团队通过 TMO 融合接口处理归一化,又使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 的调度开销。
大白话解释:把原本需要分几次启动的小计算合在一起,减少启动和调度的成本。不过,报道没有给出融合前后的耗时,也没有披露自动生成算子的正确性验证过程。
我的判断
我认可这次适配的工程取舍:先让新架构复用成熟的调度机制和算子,再针对特殊计算做优化。与从头开发整套执行路径相比,这条路线有助于缩短适配过程,已有实现也能成为后续维护的基础。
但「跑通」和「跑得好」之间,还有需要测量的距离。
原文内容主要来自寒武纪官方介绍,没有独立实测,也没有吞吐、首 token 延迟、长上下文显存或不同硬件的对照数据。因此,Day 0 能说明适配响应及时,不能替代性能和稳定性结论。
同样,Loop 和 mHC 是否让代码、工具调用表现更好,需要任务评测支持。现阶段可以关注其设计与部署潜力,还不能仅凭这条消息判断它优于其他本地模型。
能拿来做什么
- 如果准备做本地代码助手,可以将 SenseNova Loop-9B 列入候选,用自己的代码补全、修改和工具调用任务测试,再判断约 4.9GB 的量化权重是否带来实际部署收益。
- 如果通过 Node 服务接入 MLU 推理端,应先核实 vllm_mlu 的可用版本和部署方式。报道没有提供版本号、启动命令或 API 示例,不能直接当作接入教程。
- 如果负责推理性能排查,可以借鉴其检查顺序:先看新结构能否复用已有调度与算子,再定位归一化、迭代计算等小算子的启动开销,并用测量结果决定是否融合。