基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-22 21:23

SenseNova 循环模型的显存与算力账

dev.to · AI#模型部署#显存优化#注意力机制
Editor brief · 编辑速览

文章解析 SenseNova-Loop-9B:约 96.6 亿存储参数通过层复用执行 56 层计算,标称推理等效参数约 146 亿。混合注意力降低长上下文缓存需求,但权重节省不代表同比节省计算,所列性能榜单也来自厂商。

文章思维导图
Knowledge map
拖拽缩放
AI brief

原文暂未完整获取,基于公开信息的快读

SenseNova-Loop-9B 把参数规模和计算规模拆成了两笔账:它存储约 96.6 亿参数,通过复用中间层,每次前向传播执行 56 层计算,模型卡标称推理等效参数约 146 亿。混合注意力还压低了长上下文缓存需求,但这些节省不能直接换算成推理速度。

目前能确认什么

模型有 32 个不同的解码层,其中第 4 至 27 层共享权重、连续运行两遍,其余层运行一遍。因此,标题中的数字应理解为「32 层执行出 56 层计算」,不是把 32 层循环 56 次。

9B 描述存储规模,14.6B 描述模型卡给出的推理等效计算规模。

权重是模型参数,KV cache 则用于保存注意力计算中的历史信息,两者占用要分开算。该模型只有 8 层使用完整注意力,另外 24 层使用维护固定大小状态的线性注意力,因而能减少随上下文增长的缓存。

模型卡称,采用 4-bit 权重和 8-bit 缓存时,256K 上下文约需 15 GiB 显存。这是特定配置下的口径。作者另算出的 BF16 缓存为 8.6 至 15.0 GB,区间取决于循环两遍是否分别保留缓存,而作者尚未确认运行时采用哪种实现。

我的判断

部署时,我会分别核算权重、缓存和逐词计算量。仅凭「9B」选卡容易低估计算负担;仅凭「14.6B」估算显存,又会忽略权重复用带来的节省。等效参数也不能直接当成实测速率。

另一个门槛是运行时适配:节选提到自定义代码,以及需要保留 FP32 的 mHC 路由参数。具体引擎如何处理循环缓存、完整支持哪些配置,仍待官方实现确认。

厂商榜单可以提供线索,但目前不足以证明它在程序员常用的代码任务上普遍领先。更值得核实的是目标引擎下的长上下文显存、首词延迟和持续生成速度。

Original source

本文由 AI 基于公开信息编写,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
MiniMax 公布自动化密码分析成果与代码
下一篇
用调用轨迹拦截 Agent 行动幻觉

资讯速览

dev.to · AI · 2026-11-22 21:23

AI 评分 8.0 / 10

相关标签

#模型部署#显存优化#注意力机制

继续阅读

  • 777 个 AI 技能审计揭示安装隐患
  • MiniMax 公布自动化密码分析成果与代码
  • 用调用轨迹拦截 Agent 行动幻觉
  • Agent 授权还需校验整条执行链
  • 过期文档正在误导代码智能体