基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 01:13

小显存跑 Gemma:思考开销与推测加速

dev.to · AI#本地推理#性能评测#推测解码
Editor brief · 编辑速览

作者在 8GB RTX 3050 上,使用 llama.cpp 对 Gemma 4 E2B 的思考开关、两种四位构建和草稿模型进行对照测试。所测数学题中,开启思考未带来统计显著的得分提升,而草稿模型带来约 1.55 至 2.04 倍加速。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Gemma 4 E2B 在本地显卡上打开 thinking,答案会更准,还是只是等得更久?作者用一张 8 GB RTX 3050,把两种权重构建、思考开关和辅助生成模型交叉测试,跑完小学数学与竞赛数学题。结果是:思考增加了明确的时间成本,却没有带来统计上可确认的提分;辅助生成模型的加速收益反而更稳定。

对准备本地部署小模型的程序员,这篇最有用的地方是提供了一套评估方法:把正确率、生成长度和等待时间一起算,别只看模型有没有输出思考过程。

这次比较,哪些条件被固定了

作者测试的是 Gemma 4 E2B,硬件为 RTX 3050 OEM,显存 8 GB,驱动 615.78.08;推理使用支持 CUDA 的 llama.cpp,commit 为 7182ef71e。

实验交叉比较三个因素:Google 原版 QAT Q4_0 GGUF 与 exact Q4_0 repack、thinking off 与 on、是否启用 Google 的 E2B QAT drafter。QAT 是量化感知训练,即训练时就考虑低精度运行;repack 则把相同的 QAT 4-bit 数值重新打包,减少存储开销。

每种组合都跑 GSM8K 全部 1,319 道测试题,以及 AIME 2025 的 I、II 两卷共 30 道题。合计 16 次运行,消耗 18.81 小时 GPU 时间,执行日期为 2026-11-16、17。

所有运行统一使用完整的 131,072-token 上下文,每次只处理一个请求,temperature 为 0,单次回复上限为 32,768 tokens,思考内容也占这个额度。这里的「完整上下文」指配置的容量,不是每道题都输入这么长。

下面是原文启动整批实验的命令:

cd local-llamacpp-3050oem-2b-q4_0/benchmarks/runs/2026-11-16-thinking-e2b-3050oem
setsid nohup ./run.sh > nohup.out 2>&1 < /dev/null &

要留意第二行:它把执行输出写入 nohup.out。断点续跑由配套的 resume.sh 完成,因为每条回复结束后都会保存。

run.sh 为每组权重与 drafter 配置启动一次服务,依次运行 GSM8K off、AIME off、AIME on、GSM8K on。评分要求最后一行输出 Answer: <number>,按数字是否匹配判定。analyze.py 从保存的回复生成统计表,tokens.py 使用模型 tokenizer 计算思考与答案的长度。

thinking 关闭了,模型也可能照样推导

这次实验里,打开 thinking 的确定收益不是提分,而是生成了更多内容。

GSM8K 开启思考后,每题总 token 数增至原来的 2.15 至 2.22 倍,耗时增至 2.18 至 2.31 倍;AIME 耗时增至 1.44 至 1.71 倍。

但四组配置的 GSM8K 答对题数只分别变化了 −11、−1、+12、+18,道题之间的配对检验 p 值为 0.0982 至 1.0,都没有达到统计显著。八个结果的准确率落在 0.8908 至 0.9052,所有 95% 区间互相重叠。AIME 多答对零至四题,相关比较的 p 值也没有低于 0.125。

不能把它理解为「思考完全没用」。开启思考后,每组配置有 79 至 106 道 GSM8K 题目的对错状态发生变化,有救回来的,也有原本正确却答错的,只是两边大致抵消。

更有意思的是输出位置。关闭 thinking 时,E2B 仍会把推导写进答案。AIME 每条回复依然有 5,812 至 6,548 tokens;开启后,推导移入 thinking 文本,长度还增加了。GSM8K 的答案部分缩短约三分之一,但前面多出约 600 个思考 tokens。

所以,关掉专门的思考通道,不等于模型直接报结果。

增加长度的趋势很稳定:每组配置中,GSM8K 有 1,301 至 1,307 道题、AIME 有 26 道题在开启思考后使用更多 tokens;八次符号秩检验的 p 值均低于 0.0012。

长度还会影响评分。每个 AIME 测试单元有二至五条回复撞上 32,768-token 上限,统一算错;关闭思考时截在答案中,开启时则仍在思考。GSM8K 也有一条开启思考的回复被截断。

比起多想一会儿,drafter 的收益更确定

drafter 是辅助生成模型:它先猜接下来的两个 tokens,主模型再一步验证。猜测通过后,就能用一次主模型计算推进多个 tokens。这属于推测解码(speculative decoding)。

在这组实验里,开启 drafter 后,每个测试单元都获得了 1.55 至 2.04 倍加速,额外占用显存 192 MiB。GSM8K 的草稿 token 接受比例为 0.80,AIME 为 0.83 至 0.86。

GSM8K 的生成速度从 99.1 至 109.2 tokens/s,提高到 178.4 至 195.1 tokens/s。其中 repack 对应的速度是从 109.2 提升至 195.1 tokens/s。八次准确率配对比较都没有发现显著差异。

权重包装也有收益。repack 的文件为 2.62 GB,Google 原版为 3.35 GB,相差 0.73 GB;加载显存分别为 3,610 MiB 和 4,306 MiB。repack 的生成速度高出 6.5% 至 9.7%,各项准确率配对检验未发现显著差异。

这些选择叠加后,等待时间差距相当直观:GSM8K 每题使用 repack、drafter、thinking off 时为 2.11 秒;使用 Google 原版、不带 drafter、thinking on 时为 9.05 秒。不过这是三个因素一起变化,不能把全部差距归给其中一个开关。

我的判断

作者最扎实的做法,是让相同题目经过所有配置,再比较哪些题被救回、哪些题变错。比起只报一个平均准确率,这更能说明思考有没有稳定收益。

但「没有检出显著差异」不等于证明效果完全相同。每个设置只运行一次,temperature 0 也不能代替重复实验。AIME 只有 30 题,作者也承认它只能识别较大的效果。

标题之外的适用边界同样重要:这里只验证了 Gemma 4 E2B、单张显卡、串行请求和数学任务。E4B、12B 被另行测量,不能直接套用这里的结论,更不能推导出关闭 thinking 会改善代码生成。

对于小学数学,默认关闭 thinking 有实测依据;对于困难数学,应保留选择空间。还有一个没拆开的因素:截断回复统一算错,因此分数同时反映解题能力和预算内完成能力。作者没有提供更高 token 上限的对照,无法判断给足预算后会怎样。

drafter 则是这次更值得优先尝试的优化,但文中的「不改分数」应理解为未发现显著变化,不能扩展成所有场景下输出逐字一致。

能拿来做什么

  • 如果你正用 llama.cpp 在类似 8 GB 显卡上部署 Gemma 4 E2B,可以优先验证官方 QAT drafter,同时记录速度和显存,检查这 192 MiB 的额外开销是否适合当前配置。
  • 如果本地服务主要处理基础数学题,可以先以 thinking off 为默认值,把正确率、总 tokens 和每题耗时一起作为验收指标。
  • 如果需要处理困难数学,可以仿照作者保存每条回复,要求 Answer: <number> 格式,并单独统计截断数量,再比较开关思考的收益。
  • 如果要把这套方法用于日常 AI 编程,应重新准备自己的任务集。数学榜单的结论可以指导测量方式,不能替代代码任务的正确性验证。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
Hopback 集中提醒 Claude 会话待办
下一篇
用统一事件记录打通 Agent 审计链路

资讯速览

dev.to · AI · 2026-11-18 01:13

AI 评分 8.0 / 10

相关标签

#本地推理#性能评测#推测解码

继续阅读

  • 接入 MCP 前的六项安全检查
  • Hopback 集中提醒 Claude 会话待办
  • 用统一事件记录打通 Agent 审计链路
  • Foundry 应用上线先理清身份与网络
  • 四款模型的 Agent 注入测试均受隐藏文本影响