推测解码如何减少大模型生成开销
解释先低成本草拟多个 token,再由大模型并行验证的推测解码机制,以及保持输出分布的目标。文章从逐 token 生成的串行依赖与内存带宽瓶颈切入,说明减少大模型前向次数的加速原理。
AI 深度解读
大模型每次只生成一个 token,却要为这一步调用整个模型。推测解码(Speculative Decoding)的思路是:让小模型先写几个候选,再让大模型一次核验,争取用一次昂贵调用产出多个 token。正确实现时,它能保留目标模型的输出分布。
这篇原文值得读的地方,是把加速机制、收益条件和工程代价串了起来。不过,它没有给出实测基准,输入中的几处关键公式也缺失了。读它时,要把算法保证、理论估算和实际部署收益分开看。
为什么先猜几个 token,反而能更快
自回归生成有一条绕不开的依赖链:后一个 token 要等前一个 token 确定后才能采样。生成长度为 T 的序列,常规路径就需要推进 T 次。
原文强调,在小批量生成场景下,单步推理往往受内存带宽限制。模型只算一个新位置,也需要读取大量权重,GPU 的计算单元未必充分忙起来。因此,缩短每一步耗时之外,减少串行调用次数也是一条路。
推测解码安排两个角色:draft model 负责便宜地生成候选,target model 负责核验。每轮先由草稿模型自回归生成 k 个 token,再把整段候选交给目标模型,通过教师强制(teacher forcing)同时计算各位置的预测分布。
这里的「同时」不代表取消前后文依赖。候选序列已经写好,目标模型可以在因果注意力约束下,一次计算多个位置;每个位置仍然只能使用它之前的内容。
核验时只保留连续通过的前缀。第一次拒绝发生后,后面的候选都要丢弃,因为它们依赖的上下文已经变了。如果全部通过,还能额外采样一个 token,一轮最多产出 k + 1 个。
原文用下面的伪代码展示这个流程:
def speculative_generate(prompt, draft, target, k=4):
tokens = list(prompt)
while not finished(tokens):
# Draft k tokens cheaply
drafts = draft.generate(tokens, n_tokens=k)
# Verify all k in one target pass
target_logits = target.logits(tokens + drafts)
accepted = []
for i, draft_token in enumerate(drafts):
target_token = sample(target_logits[i])
if target_token == draft_token:
accepted.append(draft_token)
else:
accepted.append(target_token)
break
else:
# All drafts accepted: sample one bonus token
accepted.append(sample(target_logits[k]))
tokens.extend(accepted)
return tokens
要留意 target_token == draft_token:这段代码只适合帮助理解草拟、核验和截断的流程,没有实现后文所讲的概率比接受规则。target.logits 如何对齐提示词之后的位置,也被抽象掉了,不能直接复制进推理服务。
「分布不变」需要什么条件
推测解码能保留目标模型的输出分布,前提是接受与拒绝后的补采样都实现正确。
这不保证两次运行逐字输出相同,而是保证最终采样仍服从目标模型的概率分布。对于带随机性的生成,这是更准确的「质量不变」含义。
原文将草稿分布记为 q,目标分布记为 p,但输入中缺少具体公式。为补齐解释,标准规则可以写成:从 q 采出的候选 x,以 min(1, p(x) / q(x)) 的概率接受;拒绝后,则从与 max(0, p(x) - q(x)) 成比例的分布中重新采样。
直观地看,草稿模型推荐过多的 token 会被适当拒绝,推荐不足的 token 则通过补采样获得机会。两部分合起来,才还原目标分布 p。
贪心解码更简单,只需核对候选是否等于目标模型选出的 token。温度采样不能直接照搬这套判断。原文特别提醒:实现可能通过贪心测试,却在随机采样时改变分布,因此验证对象应该包括采样分布,不能只看几段输出是否通顺。
工程上还有一个容易隐藏错误的地方:KV cache,也就是模型缓存的历史注意力键值状态。目标模型核验整段候选后,必须保留已接受前缀的缓存,并准确回滚被拒绝后缀。否则,后续生成会读取与实际文本不一致的上下文。
能快多少,主要取决于草稿有多合拍
原文用 alpha 表示草稿 token 的平均接受概率。在各位置接受概率都按同一个 alpha 估算的简化条件下,每次目标模型调用的预期产出,可以理解为:
1 + alpha + alpha² + … + alphaᵏ
前面的 1 对应每轮至少推进一个 token;越往后的候选,越需要此前的候选全部通过。
当 k = 4 时,原文给出的估算是:alpha = 0.8,约产出 3.4 个 token;alpha = 0.5,约 1.9 个;alpha = 0.9,约 4.1 个。
这些数字是每次目标模型调用的产出,不能直接当作端到端加速倍数。草拟也要时间,核验 k 个位置通常也比核验一个位置更贵。原文以 c 表示草拟 k 个 token 相当于多少次目标模型调用的成本,但对应的加速公式在输入中同样缺失。
草稿模型比目标模型快 10 倍,和只快 2 倍,留给加速的空间差别很大;同时,速度快但接受率低,也可能白忙。原文因此倾向于同系列的小模型、用目标模型输出做蒸馏,或者通过跳层、提前退出实现自推测。
任务也会改变收益。代码补全里的括号、变量名和常见 API 调用相对可预测,草稿更容易通过;开放式创作有更多合理续写,草稿与目标模型更容易分歧。原文提到公开加速结果从接近 1x 到超过 2x 或 3x,但没有提供具体出处、硬件和测试配置。
围绕接受率,还有几种改进:动态调整 k;用树状候选提供多条续写,并以 tree attention 限制各分支只关注自己的祖先;当输出重复提示词内容时,用 prompt lookup decoding 直接复制文本作为草稿。
这些做法都要算额外成本。尤其在大批量服务中,目标模型可能已受计算量限制,多位置核验的成本会上升。原文也提醒,k 不是越大越好,常见取值往往在 3 到 8 之间,但这不是通用最优区间。
我的判断
我认同原文把「草稿与目标模型是否合拍」放在核心位置。只比较模型大小或单独的生成速度,很容易忽略真正决定收益的接受率。
但文中的收益判断主要来自理论估算和机制解释,作者没有展示自己的对照实验。代码补全更适合、低延迟小批量更占优势,都有合理依据;落到某个模型组合能快多少,仍然需要实测。缺失的公式和高度简化的伪代码,也让这篇文章更适合作为入门解释,而非实现规范。
与量化、continuous batching 或直接换小目标模型相比,推测解码的吸引力在于可以保留目标分布。代价是增加草稿计算、模型部署和缓存管理的复杂度。对于大量并发请求,批处理优化可能更合适;对于单用户交互和代码补全,减少串行步骤则更值得评估。
能拿来做什么
- 如果你维护代码补全服务,可以用真实仓库中的补全请求评估草稿模型,同时记录接受率、端到端延迟和草拟耗时,避免把理论 token 产出当作实际加速。
- 如果你通过 Node 调用托管模型 API,先确认服务端是否支持这种优化。仅在客户端先调用小模型、再调用大模型,并不能获得文中所说的单次并行核验收益。
- 如果输出经常复用提示词中的代码或检索文本,可以优先评估 prompt lookup decoding,检查复制候选能覆盖多少实际输出。
- 如果要自己实现采样器,应分别验证贪心行为、随机采样分布和 KV cache 回滚,并测量不同 k 与批量大小的组合。