基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-19 23:39

LLM 提速验证:用交错对照排除假提升

dev.to · AI#性能优化#推理服务#基准测试
Editor brief · 编辑速览

教程先计算性能提升的理论上限,再把每次改动夹在前后两次对照测试之间,降低环境漂移造成的误判。通过模拟数据和安慰剂测试演示方法,并强调单变量修改与完整记录失败结果。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

测出 LLM 快了,不代表配置真的有效。机器预热、频率变化、供电状态,都可能让一次「修改前后对比」产生误导。这篇文章讨论的,是怎样把配置收益和机器自身的波动分开:先估算速度上限,再把候选配置夹在两次对照之间测试。

它最有价值的地方,是用 Python 假数据检查测试方法会不会误报。但结果也留下一个不能跳过的问题:交错对照更容易发现真实提升,却没有在这组实验里降低误报率。理解这个取舍,比照搬一套验收规则更有用。

先算上限,才能知道优化值不值得继续

原文围绕 GitHub 上的 sybil-solutions/inference-optimisation-skill 展开。这个 skill 面向本地 LLM 服务,覆盖 decode、推测解码、prefill、KV cache、启动时间和首 token 延迟。它的重点是测量流程,而非服务器参数清单。

流程从理论上限开始。对于单用户 decode,可以粗略假设每生成一个 token,都要从内存读取一次模型的活跃权重,于是:

速度上限 ≈ 内存带宽 ÷ 每个 token 读取的权重字节数

作者自设的示例是:带宽 115 GB/s,活跃参数 3.0 billion,每个权重 4 bit。每个 token 需要读取约 1.50 GB,粗算上限为 77 tok/s。目标定在 40、60、90 tok/s,分别相当于上限的 52%、78%、117%。

最后一个目标已经超出这套假设下的上限。继续调参数之前,应该先检查目标和模型假设是否合理。

这个公式没有计算 KV cache 读取,只适合粗估。推测解码等机制也会改变每次权重读取对应的有效输出量,不能把 77 tok/s 当成所有实现都不可突破的硬限制。

skill 维护者给出的 Intel Arc B390 笔记本集成 GPU 成绩是:单用户 decode 中位数从 43.6 提升到 53 tok/s,256K 上下文的 prefill 从 297 提升到 628 tok/s,约 2.1×;启动从 113 秒缩短到 43 秒。

这些是维护者在特定硬件上的报告,文章作者没有复测。其分析还称,单用户达到 100 tok/s 需要两个有效的推测草稿;但 draft head 在 depth 2 的接受率约为 14%,实际目标调整到约 88 至 97 tok/s。记录中的成绩约达到该目标的 55%,剩余差距被归因于 GEMV 内核效率。相比之下,256K prefill 的 628 tok/s 已接近约 670 至 684 tok/s 的上限。

估算上限的作用就在这里:判断下一步该继续优化,还是已经接近当前路径的收益边界。

为什么候选配置前后都要跑一次旧配置

最常见的测试顺序是先跑旧配置,再跑新配置。问题是,时间和配置变化绑在了一起。

原文模拟了一台逐渐变慢的机器:drift = 1 - 0.004 * minute,再乘上 rng.normal(1, 0.02) 产生的随机噪声。随机数初始种子为 7,旧配置和候选配置的真实速度都是 50 tok/s,各取 6 个样本。

结果却是旧配置中位数 49.0,候选配置 48.3,显示下降 1.5%。配置没变,变化全部来自漂移和噪声。如果漂移方向反过来,空改动也可能被测成提速。

作者用下面这段代码,让候选配置在每轮都处于两次对照之间。它依赖前面定义的 run_bench:

def interleaved(new_speed, ctl_speed=50, rounds=6):
    before, cand, after = [], [], []
    minute = 0
    for _ in range(rounds):
        before.append(run_bench(ctl_speed, minute)); minute += 1
        cand.append(run_bench(new_speed, minute)); minute += 1
        after.append(run_bench(ctl_speed, minute)); minute += 1
    return np.median(before), np.median(cand), np.median(after)

b, c, a = interleaved(new_speed=50)
print('control before:', round(b, 1))
print('candidate:     ', round(c, 1))
print('control after: ', round(a, 1))

要看的是循环里的执行顺序:旧配置、候选配置、旧配置,每组最终汇总 6 个样本的中位数。原文输出依次为 47.9、47.3、47.4。

候选配置没有超过两侧对照,就没有证明自己更快。两次对照之间的差距,则可以提示这一轮环境波动有多大;不过,它还不是经过统计估计的误差范围。

中位数可以减轻异常样本的影响,却不能消除执行顺序带来的偏差。

因此,原始样本也要留下。只保存一个中位数,会把运行过程中逐渐降频之类的趋势一起藏掉。

超过两侧对照,也不等于已经证明有效

skill 的验收规则有两层:候选配置必须超过相邻两次对照,同时其他指标不能回退超过 3%。每次运行至少取 6 个样本,用中位数判断;一次只改一个因素,失败结果也要记录。

原文用 accept(cand, before, after, others) 实现检查。其中 prefill_32k 从 1037 变为 1050,decode_4_users 从 84.7 变为 83.0,最差变化约为 -2.0%。其他指标仍在容忍范围内,但候选速度没超过两侧对照,最终 accepted: False。

这里有个边界细节:正文写的是不能回退超过 3%,代码却使用 worst > -0.03,所以恰好回退 3% 也会被拒绝。并且这段函数约定所有指标都是越大越好,启动时间和首 token 延迟不能直接套用同一比较方向。

流程还有质量门槛:检查长上下文中的针式检索,防止提速破坏答案;token 数从服务器的 usage 统计读取,不能拿流式响应的 chunk 数代替。发布前,还要验证干净、固定版本的构建。

但真正检验测量方法的,是安慰剂实验:让配置什么都不改,看看它有多容易被判赢;再加入真实的 3% 提升,看看能否发现。

下面保留原文的实验片段,依赖前面的模拟函数和交错测试函数:

def naive(new_speed, ctl_speed=50):
    ctl = [run_bench(ctl_speed, m) for m in range(6)]
    new = [run_bench(new_speed, m) for m in range(6, 12)]
    return np.median(new) > np.median(ctl)

def bracketed(new_speed):
    b, c, a = interleaved(new_speed)
    return c > b and c > a

rng = np.random.default_rng(1)
for label, speed in (('placebo', 50), ('real +3%', 51.5)):
    n = sum(naive(speed) for _ in range(300))
    i = sum(bracketed(speed) for _ in range(300))
    print(f'{label:9} naive wins {n/300:.0%}  bracketed wins {i/300:.0%}')

关键是 return c > b and c > a:这里仅比较大小,没有要求收益达到某个幅度,也没有计算统计显著性。

各重复 300 次后,无改动时,普通前后测试判赢 3%,交错对照判赢 28%;真实速度从 50 提升到 51.5 时,两种方法分别判赢 63% 和 94%。

交错对照发现真实收益的能力更强,但误报也更多。持续变慢的模拟环境让后跑的候选配置吃亏,普通测试因此更难判赢,连真实提升也容易漏掉。

这组结果支持交错对照能缓解漂移造成的漏检,不能支持它同时降低了误报。

作者还建议把 drift = 1,观察没有漂移时的结果;再打乱每轮三次运行的顺序,检查顺序影响。原文没有给出这些追加实验的输出。

我的判断

这套方法最值得采纳的,是把性能优化当成可追踪的实验:先判断可达范围,再控制变量,同时检查速度、质量和其他指标。它比只贴一组修改前后数字更有说服力。

但「超过两侧对照」适合作为初步筛选条件,单靠它还不足以证明提速。28% 的安慰剂判赢率已经说明,纯随机波动仍然可能通过检查。若结果要用于发布性能结论,还需要进一步重复验证,或评估差值的不确定性。

原文模拟采用线性漂移和正态噪声,真实机器却可能突然降频、受到后台任务干扰。6 个样本和 3% 回退门槛是否适合其他团队,文章没有给出对照证据,只能视为这套流程的经验选择。

同样,B390 的提升也无法拆分出多少来自测量方法、多少来自具体优化手段。测得更可信,不等于测量流程自身创造了那些性能收益。

能拿来做什么

  • 调整本地 LLM 服务时,先估算 decode 的带宽上限,再决定是否值得继续优化。每次只改一个因素,并记录硬件、供电状态、构建版本和失败结果。
  • 比较 Node 脚本或前端构建耗时时,可以让候选方案前后各跑旧方案,保存每次耗时和执行顺序。耗时越小越好,验收方向要相应调整。
  • 在相信基准脚本之前,先比较两套完全相同的配置。若空改动经常获胜,就应先修正测量方法,再判断小幅提速。
  • 评估 LLM 提速时,同时检查 prefill、多用户 decode 和长上下文检索质量,并使用服务器 usage 统计计数 token,避免单项速度掩盖其他退步。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
模型输出直进页面和 SQL,引爆双重注入
下一篇
约束 AI 复用路由组件,避免站内跳转回退

资讯速览

dev.to · AI · 2026-11-19 23:39

AI 评分 8.0 / 10

相关标签

#性能优化#推理服务#基准测试

继续阅读

  • 给编程 Agent 脱敏,别误删代码语义
  • 模型输出直进页面和 SQL,引爆双重注入
  • 约束 AI 复用路由组件,避免站内跳转回退
  • 8GB 显卡实测:Gemma 思考模式划算吗
  • Claude Code 接入云端工具网关实测