稀疏注意力的长上下文开销花在哪
稀疏注意力只对筛出的部分位置执行注意力计算,但索引器仍会为整个上下文打分。英伟达展示的 DeepSeek V3.2 示例中,128K 上下文的一个预填充层有 47% 的开销来自索引和 Top-k 筛选。
AI 深度解读
长上下文模型可以只对一部分 token 做正式的注意力计算,但挑出这部分 token 也要花钱。NVIDIA 给出的例子里,DeepSeek V3.2 处理 128K tokens 时,索引器和 Top-k 筛选合计占一个预填充层开销的 47%。如果你在评估能读长文档、查大仓库的 AI 工具,这个数字提醒你多看一项:模型每次从长上下文里找信息,要付出多少开销?
注意力只算一部分,为什么还要扫全量?
稠密注意力会让每个查询(query)与上下文里的每个键(key)打分。稀疏注意力先挑出一批候选键,再只对这批键做正式的注意力计算,从而减少这一阶段的计算量和显存读写。
NVIDIA 拆解的实现里,索引器(indexer)仍然要给整个上下文打分,随后由 Top-k 选出分数最高的 k 个键。上下文越长,即使最终选中的数量维持不变,前面的扫描也会随上下文拉长。这正是只看最终注意力算子容易漏掉的开销。
47% 的口径是 DeepSeek V3.2 在 128K tokens 下的一个预填充(prefill)层。预填充是模型开始生成回答前处理输入的阶段。这个层内比例无法直接换算成整次请求的耗时,也无法据此算出稀疏注意力比稠密注意力省了多少。
为什么模型结构会影响 GPU 上的实际收益?
NVIDIA 讨论的是训练时就引入的稀疏性,并用生产环境使用的 FP8 kernel 考察索引器的注意力头配置、压缩方式和筛选粒度。筛选粒度决定了按多细的单位保留信息。模型设计阶段的这些选择,会影响推理时 GPU 怎么读数据、硬件能利用到什么程度。
对长文档、AI agent 和大型代码库来说,上下文可能达到几十万 tokens。此时,就算最终的注意力算子继续提速,索引器仍要处理随上下文增长的扫描工作。NVIDIA 因此主张,把模型结构和 GPU 执行放在一起设计。推理框架能弥补多少架构层面的损失,原文没有给出量化结果。
我的判断
这份拆解最有用的地方,是把筛选成本纳入了性能账。相比只看模型支持多少 tokens,或只看注意力 kernel 的跑分,把筛选、正式注意力和输出放进同一次端到端测试,更能回答业务上关心的延迟和成本问题。
证据目前只够说明筛选在这个例子里占了相当大的比例。报道仅依据 NVIDIA 的技术文章,未独立复测,也没有给出应用端延迟、推理服务成本或不同任务上的质量对照。换一个模型、GPU 或输入长度,47% 是否还能复现,原文没有回答。
能拿来做什么
- 给代码助手跑对照时,固定任务和输出条件,分别喂入相关文件和更长的仓库上下文,记录首 token 延迟、整次请求耗时与答案正确性。
- 评估长文档问答时,可用同一批问题对比整篇输入和先检索相关段落再输入。把检索耗时也算进去,并检查答案有没有遗漏跨段落的证据。
- 审阅推理性能报告时,先确认数字对应单个 kernel、单层、整个预填充阶段,还是完整请求。如果报告主张稀疏注意力降低了成本,再看计时范围是否覆盖索引器和 Top-k。