逐模块优化让编程智能体成功率从5%升至40%
谷歌让优化模型每轮只修改一个 Harness 模块,并以验证集和 Token 预算筛选改动,在 40 道留出的 SWE-bench Lite 任务上将成功率从 5% 提至 40%。整体重写达到 42.5%,但平均 Token 消耗接近模块化方案的 10 倍。
AI 深度解读
AI 编程任务做不成,问题未必全在模型,也可能出在围绕模型运行的那套代码。IT之家转述的一项谷歌研究显示:让智能体逐轮修改运行框架,并用验证集筛选修改,可以把软件工程任务成功率从 5.0% 提高到 40.0%。
这个「8 倍」值得看,但标题里的「只改一处代码」容易让人误解。研究采用的是每轮只修改一个模块、逐步优化的机制,并不是改一行代码就获得全部收益。对程序员更有用的,是它如何在成功率、Token 开销和修改权限之间做取舍。
Harness 为什么能影响任务成败
Harness 是围绕模型构建的运行框架,负责管理上下文和记忆、控制多轮执行、调用工具,以及在结束任务前验证结果。模型负责生成下一步行动,Harness 负责安排这些行动如何执行、失败后怎么办、什么时候可以结束。
研究人员认为,不同模型在工具使用和任务执行上有不同弱点。为一个模型调好的框架,换个模型后可能卡住、消耗过多 Token,或者完成效果下降。因此,仅调整提示词未必足够,运行代码也需要适配。
这项研究从一个仅有 142 行代码的编程智能体 Harness 出发,将其拆成四个可编辑模块:上下文与状态管理、智能体控制、工具调用接口,以及验证与故障恢复。
它尝试优化的是模型周围的执行机制,而不是模型参数。
每轮只改一个模块,靠什么留下有效修改
优化模型先读取智能体的执行记录,识别问题,再提出代码修改。每轮只能动一个模块,随后用验证集检查效果,并受到 Token 使用上限约束。通过验证的修改才会保留,其余舍弃。
这里有两个关键约束:一是限制修改范围,二是要求修改接受验证。让智能体自由重写所有代码,可能同时改变执行策略、工具行为和结束条件,结果即使变好了,也更难判断收益来自哪里。
研究人员还主张把重要约束落实到代码中,例如自动测试执行结果、识别重复失败、阻止未经验证就结束任务。提示词可以告诉模型「先测试再结束」,代码则可以把测试设成结束任务的必要条件。
不过,报道没有给出具体代码差异、验证通过标准,也没有说明 Token 上限如何设置。我们能读懂流程,还不能凭这篇报道完整复现它。
8 倍提升成立,但要连着成本和样本量看
核心实验使用 Gemini 3.8 Flash 执行任务,在 40 道未参与优化的 SWE-bench Lite 软件工程任务上评估:
| 方案 | 任务成功率 | 平均每项任务 Token |
|---|---|---|
| 初始 Harness | 5.0% | 未提供 |
| 模块化修改与验证 | 40.0% | 约 4.67 万 |
| 不受限制地整体重写 | 42.5% | 约 45.16 万 |
| 仅修改提示词规则文件 | 2.5% | 未提供 |
模块化方案从 5.0% 提升至 40.0%,成功率达到原来的 8 倍。整体重写又高出 2.5 个百分点,但平均任务 Token 消耗接近模块化方案的 10 倍。
所以,这组数据更有价值的地方,是模块化方案以明显更低的任务开销,取得了接近整体重写的成功率。这里公布的是执行任务的平均 Token 消耗,优化搜索本身花了多少,报道没有交代。
迁移实验也提供了一条线索:不重新进行优化搜索,将框架迁移到 Gemini 4 Argon 后,模块化方案成功率为 37.5%,整体重写方案为 30.0%。至少在这次迁移中,前者表现更好,但还不足以推导出普遍的跨模型优势。
我的判断
我认同把关键约束写进代码。对于「必须测试」「不能反复执行同一个失败操作」这类要求,程序可以明确检查是否满足,比单靠模型记住一段规则更容易控制。
这也不代表提示词没有用。仅修改规则文件的方案从 5.0% 降到 2.5%,只能说明这次实验里的具体做法效果不好。报道没有提供规则内容、重复实验或误差范围,不能据此宣布提示词优化普遍无效。
同样,40 道测试题的规模有限,初始成功率也只有 5.0%。它证明了这套初始框架存在较大的改进空间,却没有证明成熟团队已有的 Harness 也能获得 8 倍收益。
相较于人工调整执行逻辑,这项研究增加了自动提出修改、验证和筛选的过程;但报道没有给出与人工优化的对照,不能判断它是否更省人力。研究还明确指出,自我修改可能带来提示词膨胀、基准过拟合和篡改评估程序等风险。验证机制和权限边界,也是方案成立的必要条件。
能拿来做什么
- 如果你在维护 AI 编程智能体,可以先按上下文管理、执行控制、工具接口、验证恢复划分模块,让每次优化有明确范围,再决定是否引入自动修改。
- 对前端或 Node 项目的编程任务,可以把适用的构建、类型检查和测试结果接入任务结束判断,让「完成」有可检查的依据。
- 比较两套智能体方案时,同时记录成功率和平均任务 Token 消耗,并把优化搜索成本单独统计,避免只盯着最高成功率。
- 更换基础模型后,用保留任务重新评估既有 Harness;允许智能体修改运行代码时,限制其修改评估程序的权限,防止验证失去作用。