跨层复用 KV 缓存,探索推理显存压缩
DepthGraft 让后续层复用按步幅对齐的前层 KV,材料称可减少约三分之一的 KV 缓存,同时保持甚至改善下游表现。方案涉及模型架构调整,并非直接适用于所有现有模型的缓存开关。
AI 深度解读
DepthGraft 想改变一个常见前提:Transformer 的每一层,都得单独保存自己的 KV cache。它让深层复用浅中层的缓存,原文报告 KV cache 减少约三分之一,部分评测成绩还出现上涨。
这对部署大模型的程序员有吸引力:同样的显存预算,可能容纳更长上下文或更大模型。不过,缓存节省不能直接算成整卡显存节省,评测涨分也需要结合训练条件来看。
为什么深层不一定要独占一份缓存
自回归生成时,模型会保存已经处理过的 token 对应的 Key 和 Value,后续生成可以复用,避免重复计算。这份 KV cache 通常按层保存,上下文越长,占用越大。
DepthGraft 采用分层跨层 KV 重建(Hierarchical Cross-Layer KV Reconstruction)。按原文描述,后面的层不再全部独立保存 KV,而是复用按固定层间隔对齐的浅中层来源,并重建深层阶段的 Query。
可以把它理解成:让部分深层计算共享前面准备好的信息,减少重复存储,但仍保留重建步骤来适配深层需求。它不是简单地删掉几层缓存。
此前已有相邻层共享、统一锚点共享等探索。原文认为,这些方案没有系统地约束 KV 表示的几何结构,或者未能实现足够的缓存压缩。不过,所给材料没有列出具体对照结果,无法据此认定它们普遍不如 DepthGraft。
缓存少了三分之一,为什么成绩还能上涨
原文报告减少约三分之一的是 KV cache,不是模型部署的全部显存。
模型权重、计算过程中的临时张量等仍会占用显存。KV cache 在总占用里所占比例不同,最终能省下多少显存也会不同。因此,原文所说的适合中端 GPU,还不足以转化为具体的显卡选型建议。
性能方面,原文给出了这些结果:
- 在一个 16 B 参数的混合专家模型(MoE)上,MMLU-Pro 的绝对提升为 7.0 个百分点。
- CMMLU 和 C3 分别提升 6.6% 和 6.4%,但材料没有明确这两个数字是相对增幅还是百分点。
- 从 0.5 B 到数十亿参数的稠密模型,也出现了类似的提升趋势,但没有逐项给出成绩。
作者将收益解释为:分层复用让 Key 的检索方向更清晰,同时丰富了 Value 的表示子空间。原文还强调,DepthGraft 能把跨层梯度分散到多个来源层,并保留 prefill 阶段的提前完成能力。
这提示它可能同时改变存储方式和模型学习过程。仅凭这些描述,不能把它理解成一个现成模型接上就能涨分的缓存插件。
我的判断
我认可它提出的问题:逐层独立保存 KV,是否存在可以消除的冗余?如果结构约束既能减少缓存,又能改善训练结果,这比单纯压缩存储更有研究价值。
但原文没有提供完整的训练预算、对照配置和评测细节。涨分究竟有多少来自共享结构,有多少受训练条件影响,目前无法判断。对相邻层共享、统一锚点共享等替代方案的评价,也只能先当作作者的论述。
落地还有三个边界。其一,所给材料涉及的最大模型为 16 B,尚不能据此推断更大规模的表现。其二,README 中提到的上下文评估到 128 K tokens,更长上下文仍待验证。其三,固定层间隔对齐的拓扑对不规则 Transformer 结构未必适用,可能需要专门适配。
原文称每 token 额外开销低于 1%,同时建议延迟敏感服务实测重建步骤。材料没有交代这个开销的测量口径,也不能直接把它当成端到端延迟增幅。
它值得进入候选方案,但现有材料不足以支持生产服务默认替换缓存。
能拿来做什么
- 如果你负责自部署推理服务,先分别测量权重与 KV cache 的显存占用,再估算缓存减少约三分之一能释放多少空间。
- 如果准备复现实验,可以按原文建议,在单张 A100、固定显存预算下重跑 MMLU-Pro,同时记录可用上下文长度和任务成绩。
- 如果你的 Node 服务连接自托管模型,评估时应一起记录 prefill 耗时、逐 token 生成延迟和端到端响应时间,用实际请求判断重建开销是否可接受。
- 如果只是通过 API 使用模型写前端代码,这项技术暂时没有可直接调整的参数;更有用的是理解服务商宣称的缓存节省与整机显存节省之间的区别。