SenseNova 循环模型的显存与算力账
文章解析 SenseNova-Loop-9B:约 96.6 亿存储参数通过层复用执行 56 层计算,标称推理等效参数约 146 亿。混合注意力降低长上下文缓存需求,但权重节省不代表同比节省计算,所列性能榜单也来自厂商。
原文暂未完整获取,基于公开信息的快读
SenseNova-Loop-9B 把参数规模和计算规模拆成了两笔账:它存储约 96.6 亿参数,通过复用中间层,每次前向传播执行 56 层计算,模型卡标称推理等效参数约 146 亿。混合注意力还压低了长上下文缓存需求,但这些节省不能直接换算成推理速度。
目前能确认什么
模型有 32 个不同的解码层,其中第 4 至 27 层共享权重、连续运行两遍,其余层运行一遍。因此,标题中的数字应理解为「32 层执行出 56 层计算」,不是把 32 层循环 56 次。
9B 描述存储规模,14.6B 描述模型卡给出的推理等效计算规模。
权重是模型参数,KV cache 则用于保存注意力计算中的历史信息,两者占用要分开算。该模型只有 8 层使用完整注意力,另外 24 层使用维护固定大小状态的线性注意力,因而能减少随上下文增长的缓存。
模型卡称,采用 4-bit 权重和 8-bit 缓存时,256K 上下文约需 15 GiB 显存。这是特定配置下的口径。作者另算出的 BF16 缓存为 8.6 至 15.0 GB,区间取决于循环两遍是否分别保留缓存,而作者尚未确认运行时采用哪种实现。
我的判断
部署时,我会分别核算权重、缓存和逐词计算量。仅凭「9B」选卡容易低估计算负担;仅凭「14.6B」估算显存,又会忽略权重复用带来的节省。等效参数也不能直接当成实测速率。
另一个门槛是运行时适配:节选提到自定义代码,以及需要保留 FP32 的 mHC 路由参数。具体引擎如何处理循环缓存、完整支持哪些配置,仍待官方实现确认。
厂商榜单可以提供线索,但目前不足以证明它在程序员常用的代码任务上普遍领先。更值得核实的是目标引擎下的长上下文显存、首词延迟和持续生成速度。