小显存跑 Gemma:思考开销与推测加速
作者在 8GB RTX 3050 上,使用 llama.cpp 对 Gemma 4 E2B 的思考开关、两种四位构建和草稿模型进行对照测试。所测数学题中,开启思考未带来统计显著的得分提升,而草稿模型带来约 1.55 至 2.04 倍加速。
AI 深度解读
Gemma 4 E2B 在本地显卡上打开 thinking,答案会更准,还是只是等得更久?作者用一张 8 GB RTX 3050,把两种权重构建、思考开关和辅助生成模型交叉测试,跑完小学数学与竞赛数学题。结果是:思考增加了明确的时间成本,却没有带来统计上可确认的提分;辅助生成模型的加速收益反而更稳定。
对准备本地部署小模型的程序员,这篇最有用的地方是提供了一套评估方法:把正确率、生成长度和等待时间一起算,别只看模型有没有输出思考过程。
这次比较,哪些条件被固定了
作者测试的是 Gemma 4 E2B,硬件为 RTX 3050 OEM,显存 8 GB,驱动 615.78.08;推理使用支持 CUDA 的 llama.cpp,commit 为 7182ef71e。
实验交叉比较三个因素:Google 原版 QAT Q4_0 GGUF 与 exact Q4_0 repack、thinking off 与 on、是否启用 Google 的 E2B QAT drafter。QAT 是量化感知训练,即训练时就考虑低精度运行;repack 则把相同的 QAT 4-bit 数值重新打包,减少存储开销。
每种组合都跑 GSM8K 全部 1,319 道测试题,以及 AIME 2025 的 I、II 两卷共 30 道题。合计 16 次运行,消耗 18.81 小时 GPU 时间,执行日期为 2026-11-16、17。
所有运行统一使用完整的 131,072-token 上下文,每次只处理一个请求,temperature 为 0,单次回复上限为 32,768 tokens,思考内容也占这个额度。这里的「完整上下文」指配置的容量,不是每道题都输入这么长。
下面是原文启动整批实验的命令:
cd local-llamacpp-3050oem-2b-q4_0/benchmarks/runs/2026-11-16-thinking-e2b-3050oem
setsid nohup ./run.sh > nohup.out 2>&1 < /dev/null &
要留意第二行:它把执行输出写入 nohup.out。断点续跑由配套的 resume.sh 完成,因为每条回复结束后都会保存。
run.sh 为每组权重与 drafter 配置启动一次服务,依次运行 GSM8K off、AIME off、AIME on、GSM8K on。评分要求最后一行输出 Answer: <number>,按数字是否匹配判定。analyze.py 从保存的回复生成统计表,tokens.py 使用模型 tokenizer 计算思考与答案的长度。
thinking 关闭了,模型也可能照样推导
这次实验里,打开 thinking 的确定收益不是提分,而是生成了更多内容。
GSM8K 开启思考后,每题总 token 数增至原来的 2.15 至 2.22 倍,耗时增至 2.18 至 2.31 倍;AIME 耗时增至 1.44 至 1.71 倍。
但四组配置的 GSM8K 答对题数只分别变化了 −11、−1、+12、+18,道题之间的配对检验 p 值为 0.0982 至 1.0,都没有达到统计显著。八个结果的准确率落在 0.8908 至 0.9052,所有 95% 区间互相重叠。AIME 多答对零至四题,相关比较的 p 值也没有低于 0.125。
不能把它理解为「思考完全没用」。开启思考后,每组配置有 79 至 106 道 GSM8K 题目的对错状态发生变化,有救回来的,也有原本正确却答错的,只是两边大致抵消。
更有意思的是输出位置。关闭 thinking 时,E2B 仍会把推导写进答案。AIME 每条回复依然有 5,812 至 6,548 tokens;开启后,推导移入 thinking 文本,长度还增加了。GSM8K 的答案部分缩短约三分之一,但前面多出约 600 个思考 tokens。
所以,关掉专门的思考通道,不等于模型直接报结果。
增加长度的趋势很稳定:每组配置中,GSM8K 有 1,301 至 1,307 道题、AIME 有 26 道题在开启思考后使用更多 tokens;八次符号秩检验的 p 值均低于 0.0012。
长度还会影响评分。每个 AIME 测试单元有二至五条回复撞上 32,768-token 上限,统一算错;关闭思考时截在答案中,开启时则仍在思考。GSM8K 也有一条开启思考的回复被截断。
比起多想一会儿,drafter 的收益更确定
drafter 是辅助生成模型:它先猜接下来的两个 tokens,主模型再一步验证。猜测通过后,就能用一次主模型计算推进多个 tokens。这属于推测解码(speculative decoding)。
在这组实验里,开启 drafter 后,每个测试单元都获得了 1.55 至 2.04 倍加速,额外占用显存 192 MiB。GSM8K 的草稿 token 接受比例为 0.80,AIME 为 0.83 至 0.86。
GSM8K 的生成速度从 99.1 至 109.2 tokens/s,提高到 178.4 至 195.1 tokens/s。其中 repack 对应的速度是从 109.2 提升至 195.1 tokens/s。八次准确率配对比较都没有发现显著差异。
权重包装也有收益。repack 的文件为 2.62 GB,Google 原版为 3.35 GB,相差 0.73 GB;加载显存分别为 3,610 MiB 和 4,306 MiB。repack 的生成速度高出 6.5% 至 9.7%,各项准确率配对检验未发现显著差异。
这些选择叠加后,等待时间差距相当直观:GSM8K 每题使用 repack、drafter、thinking off 时为 2.11 秒;使用 Google 原版、不带 drafter、thinking on 时为 9.05 秒。不过这是三个因素一起变化,不能把全部差距归给其中一个开关。
我的判断
作者最扎实的做法,是让相同题目经过所有配置,再比较哪些题被救回、哪些题变错。比起只报一个平均准确率,这更能说明思考有没有稳定收益。
但「没有检出显著差异」不等于证明效果完全相同。每个设置只运行一次,temperature 0 也不能代替重复实验。AIME 只有 30 题,作者也承认它只能识别较大的效果。
标题之外的适用边界同样重要:这里只验证了 Gemma 4 E2B、单张显卡、串行请求和数学任务。E4B、12B 被另行测量,不能直接套用这里的结论,更不能推导出关闭 thinking 会改善代码生成。
对于小学数学,默认关闭 thinking 有实测依据;对于困难数学,应保留选择空间。还有一个没拆开的因素:截断回复统一算错,因此分数同时反映解题能力和预算内完成能力。作者没有提供更高 token 上限的对照,无法判断给足预算后会怎样。
drafter 则是这次更值得优先尝试的优化,但文中的「不改分数」应理解为未发现显著变化,不能扩展成所有场景下输出逐字一致。
能拿来做什么
- 如果你正用 llama.cpp 在类似 8 GB 显卡上部署 Gemma 4 E2B,可以优先验证官方 QAT drafter,同时记录速度和显存,检查这 192 MiB 的额外开销是否适合当前配置。
- 如果本地服务主要处理基础数学题,可以先以 thinking off 为默认值,把正确率、总 tokens 和每题耗时一起作为验收指标。
- 如果需要处理困难数学,可以仿照作者保存每条回复,要求
Answer: <number>格式,并单独统计截断数量,再比较开关思考的收益。 - 如果要把这套方法用于日常 AI 编程,应重新准备自己的任务集。数学榜单的结论可以指导测量方式,不能替代代码任务的正确性验证。