8GB 显卡实测:Gemma 思考模式划算吗
作者用 RTX 3050 8GB 对 Gemma 4 E4B 的量化版本、思考模式和草稿模型进行对照测试,GSM8K 准确率约为 93%—94%。开启思考耗时增加至约 2.24—2.47 倍,准确率提升有限;草稿模型最高带来 2.39 倍加速,测试得分未变。
AI 深度解读
在 8 GB 显卡上跑本地模型,打开 thinking,花掉的是实实在在的等待时间。作者把 Gemma 4 E4B 放到 RTX 3050 上,用同一批数学题交叉测试思考开关、两种权重文件和辅助草稿模型,想弄清哪些配置值得开。
结果很明确:草稿模型的提速比 thinking 的正确率收益稳定得多。但这是一张卡、两套数学题上的测量,不能直接当成 AI 编程助手的配置答案。
多想一会儿,究竟多答对多少题
作者沿用此前 Gemma 4 E2B 的测试条件,换成 E4B,组合三个变量:thinking 开或关、Google 原版或 repack 权重、是否启用 drafter。共 8 种配置,每种跑两套题,形成 16 次运行,消耗 26.83 小时 GPU 时间。
题目包括 GSM8K 全部 1,319 道测试题,以及 AIME 2025 两份试卷的 30 道题。每个配置都答相同的 1,349 道题,才能比较到底哪些题由错变对、哪些由对变错。
GSM8K 的准确率落在 0.9272 到 0.9439,也就是约 93% 到 94%。打开 thinking 后,四组配置分别净增 2、4、13、16 道正确答案,却生成了原来 2.24 到 2.30 倍的 token,耗时达到 2.24 到 2.47 倍。
在这次 GSM8K 测试里,thinking 用超过两倍的时间,最多换来约一个百分点的准确率。
这点收益还需要结合统计结果看。作者按同一道题在两种设置下的对错做精确配对检验,只有增加 16 题的组合达到 p = 0.0440,其余为 0.1175 到 0.8919。四次检验中,即使没有真实效果,至少一次碰巧低于 0.05 的概率也有 18.5%。因此,不能把唯一过线的结果当成稳定提升的证明。
AIME 的证据更弱。thinking 开启后答对 9 到 12 题,关闭时答对 10 到 13 题,各组合变化为 −4 到 +2 题,没有显示可靠增益。30 道题只能识别较大的效果,细微差别很难判断。
还有一个容易误解的地方:关闭 thinking,不代表模型不推导。作者观察到,AIME 关闭 thinking 时,解题过程会写在回答正文里;开启后,这部分过程转进 thinking 文本。开关改变了推导的组织方式,不能简单理解成「思考」与「不思考」。
为什么 drafter 比 thinking 更值得先开
drafter 是 Google 提供的小型 E4B QAT assistant model。它先猜接下来的两个 token,再交给主模型一次检查;猜对的部分可以一起输出,减少主模型逐个生成的步骤。这属于推测解码(speculative decoding)。
它的收益主要来自提速。GSM8K 中,主模型接受了 0.83 到 0.84 的草稿 token;AIME 中接受率为 0.80 到 0.82。整体生成速度从 54.5–58.4 tokens/s 提高到 121.6–132.3 tokens/s。
对应到整轮运行,GSM8K 加速 1.99 到 2.39 倍,AIME 加速 1.38 到 2.23 倍。作者做的八项配对检验,没有发现 drafter 带来超出随机波动的分数变化。
这里应理解为「没有检出分数差异」,不能扩写成每一道题的输出都完全相同。
实际等待时间更直观:repack 配合 drafter、关闭 thinking 时,GSM8K 平均每题 2.72 秒;repack 不带 drafter、开启 thinking 时,每题 14.87 秒。这两个数字同时改变了两个变量,不能把全部差距都归给 drafter。固定开启 thinking 后,带 drafter 是每题 6.72 到 7.20 秒,不带则为 14.30 到 14.87 秒。
计时还出现过一次异常:repack 带 drafter 的 AIME 关闭思考运行,有几条回答在生成之外消耗了 395 秒,导致开启思考的总耗时反而只有其 0.90 倍;只算生成时间,开启思考仍需 1.21 倍。其余三组 AIME 开启思考的耗时为 1.19 到 1.46 倍。
这也提醒我们,生成速度和用户实际等待时间要分开记录。
8 GB 能跑下来,依赖哪些具体条件
两份权重都来自量化感知训练(QAT),使用 Q4_0 GGUF。repack 的标识为 xbill9/gemma-4-E4B-it-qat-q4_0-exact-gguf,存储的是相同的 QAT 4-bit 数值,文件从 5.15 GB 缩到 4.22 GB。
两者在所有配对检验中分数相当,服务显存分别为 7,326 MiB 和 6,430 MiB。作者将节省量概括为约 0.94 GB 文件空间、896 MiB 显存。Google 原版带 drafter 时占用 7,520 MiB,接近显卡的 8,192 MiB 容量。
这些结果绑定了一套明确环境:RTX 3050 OEM、驱动 615.78.08、启用 CUDA 的 llama.cpp commit 7182ef71e,以及 Python 3、huggingface_hub、tokenizers、scipy 和 gemma4-dev。
所有运行都使用完整的 131,072-token 上下文、f16 cache,将 per-layer embedding table 放到显卡上;单请求执行,temperature 0,每条回复上限 32,768 token,包含 thinking。16 次运行没有任何回复触及上限。
作者用下面的命令将整套实验放到后台执行:
cd local-llamacpp-3050oem-4b-q4_0/benchmarks/runs/2026-11-17-thinking-e4b-3050oem
setsid nohup ./chain.sh > nohup-chain.out 2>&1 < /dev/null &
要注意第二行依赖已有的 chain.sh,第一行也依赖作者的目录结构;它不是下载模型并启动服务的完整安装命令。
具体流程由 run.sh 从 wave.env 读取文件配置,每个权重与 drafter 组合只启动一次服务,再依次跑 GSM8K 关闭、AIME 关闭、AIME 开启、GSM8K 开启。评分要求最后单独一行输出 Answer: <number>,按数字是否匹配判分。每条回答完成就保存,支持中断后继续,最后由 analyze.py 汇总。
我的判断
作者最有价值的做法,是固定模型、硬件和题目,把几个容易混淆的配置分开比较,并保存完整回答。这使得「快了多少」和「多答对多少」都有可追查的依据。
对这套本地数学任务,先启用 drafter、再决定是否开启 thinking,是有实测支持的取舍。
但证据范围也很明确:实验发生在 2026-11-17 和 18,每种设置只运行一次,temperature 0、单请求,没有并发服务对照。显卡频率和温度也会影响耗时,不能把这里的加速倍数直接写进其他机器的性能承诺。
两份权重同分也只是这批题上的观察,不能证明所有任务行为一致。作者没有给出前端组件生成、Node 调试或仓库修改的对照数据,因此「写代码也应该默认关闭 thinking」超出了实验结论。
与单纯追求更高准确率相比,这篇把延迟放进决策很合理。不过,它没有做完整的正确率与时间预算对照,例如固定总时间后比较不同策略,所以还不能回答「同样等一分钟,怎样使用模型最划算」。
能拿来做什么
- 如果你正在相近的 8 GB 显卡上部署 Gemma 4 E4B,可以优先验证 repack 与 drafter 的组合,再根据自己的题目决定是否开启 thinking。
- 给本地模型做配置比较时,固定题目、temperature、上下文和回复上限,同时记录正确率、生成 token、生成时间与总耗时,避免只看 tokens/s。
- 如果准备将结果用于日常 AI 编程,先用真实的前端或 Node 任务做小规模复测,按测试是否通过、修改是否正确判分,再决定思考开关。
- 批量评测脚本可以借鉴逐条保存和断点续跑的设计,同时保存完整回答与解析结果,方便区分模型答错、格式不符和输出截断。