逐步校验让本地模型数学解题率翻倍
作者用 SymPy、Z3 和高精度计算逐步验证推导,再用独立审查、经验复用和搜索约束改进求解流程。在 300 道难题上,本地 Qwen 的解题率从 12.67% 升至 26.67%,三模型组合从 41.33% 升至 65.67%。
AI 深度解读
同一个语言模型直接做数学题,和把它放进一套能验算、回退、复审的流程里,能差多少?作者在 300 道难题上做了比较:这套流程补回了各模型单独作答时做错的 16%–33%。Flash 的通过数达到原来的 1.64 倍,实际补回的错题数却是三个模型里最多的。对平时用 AI 写代码的人,这篇最有参考价值的地方是它把「让模型再想一遍」拆成了几个可以单独检查的步骤。
为什么验算要插进推理过程?
作者给模型套了一层推理框架(harness)。求解模型在一块持续保留的草稿板上工作,中间断言要交给 SymPy、Z3 或使用 50 位精度的 mpmath 检查。这样,某一步算错时,可以在结论写完前就发现。候选证明写出来后,独立审查器会在全新的内核里尝试找漏洞,避免沿用求解阶段已经接受的假设。
这两道检查覆盖的东西有差别。工具可以核对交给它的表达式、约束或数值;审查器还得看模型有没有漏掉边界条件,或者把只在某个范围里成立的结论用到了别处。尤其是 50 位数值计算,精度再高也只能说明已检查的数值情况,推到一般结论仍需要论证。
被驳回之后,模型怎么继续做题?
第 1 轮禁止起草证明。候选推理被驳回后,系统把上下文收束成一块干净的黑板,再从整理后的状态继续搜。临近时限时,还有一道加时门槛,给接近完成的尝试继续求解的机会。原文没交代黑板具体保留哪些内容,也没给出触发加时的判定条件。
另一种记忆跨题生效。每做完一道题,系统会复盘哪些方法管用,把经验提炼成后续可复用的启发式规则,全程零权重微调。这里改动的是模型下一次解题时能参考的经验。原文给出的是整套流程的结果,无法单独算出记忆、黑板收束或加时各贡献了多少。
通过数、错题挽回率和耗时该怎么看?
16%–33% 的分母是各模型原先做错的题数。Flash 的通过数达到原来的 1.64 倍,低于 2 倍,但按补回的错题数量算,它在三个模型里排第一。作者称,从公开评判文件可以复算最终通过数:Qwen 80 道、Muse 139 道、Flash 166 道。
通过总数也会掩盖模型之间的差异。本地 27B Qwen 抓到了两个更大模型漏掉的 2 倍系数错误和边界情况,有 5 道题只有它解出。逐题比较时,Qwen 有 14 道题胜过 Muse,有 10 道题胜过 Flash。耗时方面,Flash 的求解中位用时是 12.2 分钟,Muse 是 95.0 分钟,前者约快 7.8 倍。这组数字描述的是中位用时,原文没有给出长尾耗时。
我的判断
我认同把可执行检查前移。和让同一个模型通读一遍自己的答案相比,工具检查能留下可复跑的证据,独立复审则有机会发现求解过程里一直沿用的错误假设。这套做法的前提是,你能把关键断言写成可检查的条件。条件写漏了,执行成功也可能只说明你检查了一个更窄的问题。
最终评分来自作者团队自己校准的 LLM 评审集成,评审在隔离上下文中运行。实验没有人工评分,也没有对整份证明做形式化验证。公开日志可以核对计数,证明是否真的成立仍取决于评审质量。原文也没有给出等预算的多次采样对照或逐项消融,所以框架里哪些设计更划算、增益有多少来自多跑几轮,目前只能视为作者的工程经验。
能拿来做什么
- 让 AI 修改前端或 Node 里的区间校验、金额计算时,先把边界输入和预期输出写成可运行的断言,再让模型改实现。失败时把实际输出和预期值一起反馈给它。
- 对容易漏掉边界的改动,另开一个上下文,把需求、diff 和测试结果交给审查模型,让它专门找反例。找到反例后,先复现,再修代码。
- 在一批同类任务上比较直接生成和带校验的流程,记录原先失败的任务救回了多少,以及完成一次要花多久。若要判断流程设计值不值,再加一组同等预算的直接重试。