循环模型选型:9B 显存占用不等于 9B 算力
采用 Apache 2.0 开放权重的 SenseNova-Loop-9B-Preview 存储 32 层,通过重复执行中间层完成 56 次层计算,作者据此标称约 14.6B 推理参数。文章在 48GB 和 20GB 显卡上完成未压缩运行验证,但每项请求仅测试一次,不能据此判断质量或吞吐。
原文暂未完整获取,基于公开信息的快读
SenseNova-Loop-9B-Preview 用约 9B 参数的权重,执行超过普通 9B 模型的层计算。这个由 SenseTime 以 Apache 2.0 开放权重的模型,在作者的测试中能以未压缩方式装入 20 GB 显卡并回答请求,但能装下、跑得快、答得好,是三个需要分别验证的问题。
目前能确认什么
模型存储 32 层,中间第 4 至 27 层重复执行,因此每个输出 token 要经过 56 次层计算,权重不重复存储。模型页面标注约 14.6B「推理参数」,这是 SenseTime 的计算口径,作者没有独立核验。
重复使用权重能节省存储,却不会免去重复计算。
作者在 48 GB A40 和 20 GB RTX 4000 Ada 上,各测试了数学题、图表理解和工具调用,均得到正确结果。但每项请求只跑一次,且独占显卡,只能证明这些样例能运行,不能证明整体质量或并发吞吐。
部署软件也有影响。按原文截至 11 月 9 日的记录,常用引擎仍存在适配缺口。作者通过 Transformers 测得每秒 2.2 至 3.0 tokens;未合并的 SGLang 分支在同一 A40 上达到每秒 9.1 至 9.2 tokens。这些是特定环境的测量,不能直接当作部署承诺。
我的判断
选卡要分别算权重和运行时状态。模型加载后占用 17.5 GiB,提示词增长还会增加状态占用,所以「20 GB 能运行」不能延伸成「20 GB 足够处理长上下文」。
也别把循环次数当加速旋钮。作者将两次循环改成一次后,速度提高,但数学和图表样例出现错误;训练采用两次循环,减少计算会改变模型行为。
我会先核对所用引擎是否支持循环结构、图像和工具调用,再按目标提示词长度测延迟与显存。当前引擎适配进展需要重新确认;循环本身造成多少速度损失也仍不清楚,因为作者没有在同卡上测试普通 9B 模型作为对照。