基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 14:00

跨层复用 KV 缓存,探索推理显存压缩

dev.to · AI#推理优化#显存优化#模型架构
Editor brief · 编辑速览

DepthGraft 让后续层复用按步幅对齐的前层 KV,材料称可减少约三分之一的 KV 缓存,同时保持甚至改善下游表现。方案涉及模型架构调整,并非直接适用于所有现有模型的缓存开关。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

DepthGraft 想改变一个常见前提:Transformer 的每一层,都得单独保存自己的 KV cache。它让深层复用浅中层的缓存,原文报告 KV cache 减少约三分之一,部分评测成绩还出现上涨。

这对部署大模型的程序员有吸引力:同样的显存预算,可能容纳更长上下文或更大模型。不过,缓存节省不能直接算成整卡显存节省,评测涨分也需要结合训练条件来看。

为什么深层不一定要独占一份缓存

自回归生成时,模型会保存已经处理过的 token 对应的 Key 和 Value,后续生成可以复用,避免重复计算。这份 KV cache 通常按层保存,上下文越长,占用越大。

DepthGraft 采用分层跨层 KV 重建(Hierarchical Cross-Layer KV Reconstruction)。按原文描述,后面的层不再全部独立保存 KV,而是复用按固定层间隔对齐的浅中层来源,并重建深层阶段的 Query。

可以把它理解成:让部分深层计算共享前面准备好的信息,减少重复存储,但仍保留重建步骤来适配深层需求。它不是简单地删掉几层缓存。

此前已有相邻层共享、统一锚点共享等探索。原文认为,这些方案没有系统地约束 KV 表示的几何结构,或者未能实现足够的缓存压缩。不过,所给材料没有列出具体对照结果,无法据此认定它们普遍不如 DepthGraft。

缓存少了三分之一,为什么成绩还能上涨

原文报告减少约三分之一的是 KV cache,不是模型部署的全部显存。

模型权重、计算过程中的临时张量等仍会占用显存。KV cache 在总占用里所占比例不同,最终能省下多少显存也会不同。因此,原文所说的适合中端 GPU,还不足以转化为具体的显卡选型建议。

性能方面,原文给出了这些结果:

  • 在一个 16 B 参数的混合专家模型(MoE)上,MMLU-Pro 的绝对提升为 7.0 个百分点。
  • CMMLU 和 C3 分别提升 6.6% 和 6.4%,但材料没有明确这两个数字是相对增幅还是百分点。
  • 从 0.5 B 到数十亿参数的稠密模型,也出现了类似的提升趋势,但没有逐项给出成绩。

作者将收益解释为:分层复用让 Key 的检索方向更清晰,同时丰富了 Value 的表示子空间。原文还强调,DepthGraft 能把跨层梯度分散到多个来源层,并保留 prefill 阶段的提前完成能力。

这提示它可能同时改变存储方式和模型学习过程。仅凭这些描述,不能把它理解成一个现成模型接上就能涨分的缓存插件。

我的判断

我认可它提出的问题:逐层独立保存 KV,是否存在可以消除的冗余?如果结构约束既能减少缓存,又能改善训练结果,这比单纯压缩存储更有研究价值。

但原文没有提供完整的训练预算、对照配置和评测细节。涨分究竟有多少来自共享结构,有多少受训练条件影响,目前无法判断。对相邻层共享、统一锚点共享等替代方案的评价,也只能先当作作者的论述。

落地还有三个边界。其一,所给材料涉及的最大模型为 16 B,尚不能据此推断更大规模的表现。其二,README 中提到的上下文评估到 128 K tokens,更长上下文仍待验证。其三,固定层间隔对齐的拓扑对不规则 Transformer 结构未必适用,可能需要专门适配。

原文称每 token 额外开销低于 1%,同时建议延迟敏感服务实测重建步骤。材料没有交代这个开销的测量口径,也不能直接把它当成端到端延迟增幅。

它值得进入候选方案,但现有材料不足以支持生产服务默认替换缓存。

能拿来做什么

  • 如果你负责自部署推理服务,先分别测量权重与 KV cache 的显存占用,再估算缓存减少约三分之一能释放多少空间。
  • 如果准备复现实验,可以按原文建议,在单张 A100、固定显存预算下重跑 MMLU-Pro,同时记录可用上下文长度和任务成绩。
  • 如果你的 Node 服务连接自托管模型,评估时应一起记录 prefill 耗时、逐 token 生成延迟和端到端响应时间,用实际请求判断重建开销是否可接受。
  • 如果只是通过 API 使用模型写前端代码,这项技术暂时没有可直接调整的参数;更有用的是理解服务商宣称的缓存节省与整机显存节省之间的区别。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
145 个 AI 搭建的应用中有 16 个权限配置有问题
下一篇
编程智能体拒答后,也要交代已做的修改

资讯速览

dev.to · AI · 2026-11-18 14:00

AI 评分 8.0 / 10

相关标签

#推理优化#显存优化#模型架构

继续阅读

  • Pipecat 修复工具进度回调误取消超时
  • 145 个 AI 搭建的应用中有 16 个权限配置有问题
  • 编程智能体拒答后,也要交代已做的修改
  • 多智能体故障排查:从上下文到工具调用
  • 子智能体的小任务,为何消耗大量上下文