LLM 提速验证:用交错对照排除假提升
教程先计算性能提升的理论上限,再把每次改动夹在前后两次对照测试之间,降低环境漂移造成的误判。通过模拟数据和安慰剂测试演示方法,并强调单变量修改与完整记录失败结果。
AI 深度解读
测出 LLM 快了,不代表配置真的有效。机器预热、频率变化、供电状态,都可能让一次「修改前后对比」产生误导。这篇文章讨论的,是怎样把配置收益和机器自身的波动分开:先估算速度上限,再把候选配置夹在两次对照之间测试。
它最有价值的地方,是用 Python 假数据检查测试方法会不会误报。但结果也留下一个不能跳过的问题:交错对照更容易发现真实提升,却没有在这组实验里降低误报率。理解这个取舍,比照搬一套验收规则更有用。
先算上限,才能知道优化值不值得继续
原文围绕 GitHub 上的 sybil-solutions/inference-optimisation-skill 展开。这个 skill 面向本地 LLM 服务,覆盖 decode、推测解码、prefill、KV cache、启动时间和首 token 延迟。它的重点是测量流程,而非服务器参数清单。
流程从理论上限开始。对于单用户 decode,可以粗略假设每生成一个 token,都要从内存读取一次模型的活跃权重,于是:
速度上限 ≈ 内存带宽 ÷ 每个 token 读取的权重字节数
作者自设的示例是:带宽 115 GB/s,活跃参数 3.0 billion,每个权重 4 bit。每个 token 需要读取约 1.50 GB,粗算上限为 77 tok/s。目标定在 40、60、90 tok/s,分别相当于上限的 52%、78%、117%。
最后一个目标已经超出这套假设下的上限。继续调参数之前,应该先检查目标和模型假设是否合理。
这个公式没有计算 KV cache 读取,只适合粗估。推测解码等机制也会改变每次权重读取对应的有效输出量,不能把 77 tok/s 当成所有实现都不可突破的硬限制。
skill 维护者给出的 Intel Arc B390 笔记本集成 GPU 成绩是:单用户 decode 中位数从 43.6 提升到 53 tok/s,256K 上下文的 prefill 从 297 提升到 628 tok/s,约 2.1×;启动从 113 秒缩短到 43 秒。
这些是维护者在特定硬件上的报告,文章作者没有复测。其分析还称,单用户达到 100 tok/s 需要两个有效的推测草稿;但 draft head 在 depth 2 的接受率约为 14%,实际目标调整到约 88 至 97 tok/s。记录中的成绩约达到该目标的 55%,剩余差距被归因于 GEMV 内核效率。相比之下,256K prefill 的 628 tok/s 已接近约 670 至 684 tok/s 的上限。
估算上限的作用就在这里:判断下一步该继续优化,还是已经接近当前路径的收益边界。
为什么候选配置前后都要跑一次旧配置
最常见的测试顺序是先跑旧配置,再跑新配置。问题是,时间和配置变化绑在了一起。
原文模拟了一台逐渐变慢的机器:drift = 1 - 0.004 * minute,再乘上 rng.normal(1, 0.02) 产生的随机噪声。随机数初始种子为 7,旧配置和候选配置的真实速度都是 50 tok/s,各取 6 个样本。
结果却是旧配置中位数 49.0,候选配置 48.3,显示下降 1.5%。配置没变,变化全部来自漂移和噪声。如果漂移方向反过来,空改动也可能被测成提速。
作者用下面这段代码,让候选配置在每轮都处于两次对照之间。它依赖前面定义的 run_bench:
def interleaved(new_speed, ctl_speed=50, rounds=6):
before, cand, after = [], [], []
minute = 0
for _ in range(rounds):
before.append(run_bench(ctl_speed, minute)); minute += 1
cand.append(run_bench(new_speed, minute)); minute += 1
after.append(run_bench(ctl_speed, minute)); minute += 1
return np.median(before), np.median(cand), np.median(after)
b, c, a = interleaved(new_speed=50)
print('control before:', round(b, 1))
print('candidate: ', round(c, 1))
print('control after: ', round(a, 1))
要看的是循环里的执行顺序:旧配置、候选配置、旧配置,每组最终汇总 6 个样本的中位数。原文输出依次为 47.9、47.3、47.4。
候选配置没有超过两侧对照,就没有证明自己更快。两次对照之间的差距,则可以提示这一轮环境波动有多大;不过,它还不是经过统计估计的误差范围。
中位数可以减轻异常样本的影响,却不能消除执行顺序带来的偏差。
因此,原始样本也要留下。只保存一个中位数,会把运行过程中逐渐降频之类的趋势一起藏掉。
超过两侧对照,也不等于已经证明有效
skill 的验收规则有两层:候选配置必须超过相邻两次对照,同时其他指标不能回退超过 3%。每次运行至少取 6 个样本,用中位数判断;一次只改一个因素,失败结果也要记录。
原文用 accept(cand, before, after, others) 实现检查。其中 prefill_32k 从 1037 变为 1050,decode_4_users 从 84.7 变为 83.0,最差变化约为 -2.0%。其他指标仍在容忍范围内,但候选速度没超过两侧对照,最终 accepted: False。
这里有个边界细节:正文写的是不能回退超过 3%,代码却使用 worst > -0.03,所以恰好回退 3% 也会被拒绝。并且这段函数约定所有指标都是越大越好,启动时间和首 token 延迟不能直接套用同一比较方向。
流程还有质量门槛:检查长上下文中的针式检索,防止提速破坏答案;token 数从服务器的 usage 统计读取,不能拿流式响应的 chunk 数代替。发布前,还要验证干净、固定版本的构建。
但真正检验测量方法的,是安慰剂实验:让配置什么都不改,看看它有多容易被判赢;再加入真实的 3% 提升,看看能否发现。
下面保留原文的实验片段,依赖前面的模拟函数和交错测试函数:
def naive(new_speed, ctl_speed=50):
ctl = [run_bench(ctl_speed, m) for m in range(6)]
new = [run_bench(new_speed, m) for m in range(6, 12)]
return np.median(new) > np.median(ctl)
def bracketed(new_speed):
b, c, a = interleaved(new_speed)
return c > b and c > a
rng = np.random.default_rng(1)
for label, speed in (('placebo', 50), ('real +3%', 51.5)):
n = sum(naive(speed) for _ in range(300))
i = sum(bracketed(speed) for _ in range(300))
print(f'{label:9} naive wins {n/300:.0%} bracketed wins {i/300:.0%}')
关键是 return c > b and c > a:这里仅比较大小,没有要求收益达到某个幅度,也没有计算统计显著性。
各重复 300 次后,无改动时,普通前后测试判赢 3%,交错对照判赢 28%;真实速度从 50 提升到 51.5 时,两种方法分别判赢 63% 和 94%。
交错对照发现真实收益的能力更强,但误报也更多。持续变慢的模拟环境让后跑的候选配置吃亏,普通测试因此更难判赢,连真实提升也容易漏掉。
这组结果支持交错对照能缓解漂移造成的漏检,不能支持它同时降低了误报。
作者还建议把 drift = 1,观察没有漂移时的结果;再打乱每轮三次运行的顺序,检查顺序影响。原文没有给出这些追加实验的输出。
我的判断
这套方法最值得采纳的,是把性能优化当成可追踪的实验:先判断可达范围,再控制变量,同时检查速度、质量和其他指标。它比只贴一组修改前后数字更有说服力。
但「超过两侧对照」适合作为初步筛选条件,单靠它还不足以证明提速。28% 的安慰剂判赢率已经说明,纯随机波动仍然可能通过检查。若结果要用于发布性能结论,还需要进一步重复验证,或评估差值的不确定性。
原文模拟采用线性漂移和正态噪声,真实机器却可能突然降频、受到后台任务干扰。6 个样本和 3% 回退门槛是否适合其他团队,文章没有给出对照证据,只能视为这套流程的经验选择。
同样,B390 的提升也无法拆分出多少来自测量方法、多少来自具体优化手段。测得更可信,不等于测量流程自身创造了那些性能收益。
能拿来做什么
- 调整本地 LLM 服务时,先估算 decode 的带宽上限,再决定是否值得继续优化。每次只改一个因素,并记录硬件、供电状态、构建版本和失败结果。
- 比较 Node 脚本或前端构建耗时时,可以让候选方案前后各跑旧方案,保存每次耗时和执行顺序。耗时越小越好,验收方向要相应调整。
- 在相信基准脚本之前,先比较两套完全相同的配置。若空改动经常获胜,就应先修正测量方法,再判断小幅提速。
- 评估 LLM 提速时,同时检查 prefill、多用户 decode 和长上下文检索质量,并使用服务器 usage 统计计数 token,避免单项速度掩盖其他退步。