给编码 Agent 的报错加上修复指引
该实验在隔离虚拟机和隐藏的 20 项评测中,对比仅返回错误码与提供动态修复提示的 Linter 反馈。标题报告后者减少了 69.6% 的输入 Token,但具体适用范围仍需结合完整实验判断。
AI 深度解读
给 AI 编程助手看的报错,越短就越省钱吗?作者做了一次对照实验:同样修复 3 个模块里的 4 处业务规则问题,只在报错后补上具体修复提示,累计输入 token 就从 13,367 降到 4,064,减少 69.6%,两组最终都通过了 20 项隐藏测试。
关键不在提示词怎么压缩,而在工具有没有把修复所需的信息一次交齐。这个实验值得看,因为它把一个容易忽略的成本摆了出来:省掉几行报错说明,可能换来下一轮整本规则文档进入上下文。
为什么短报错反而多花了 token
实验 E17,也就是候选项 C013,使用的模型是 gemini-3.8-flash。任务是一条支付校验、拒付准备金和结算账单流水线,涉及 validator.py、settlement.py、statement.py,初始包含 E401–E404 共 4 处自定义业务约束违规。
A 组使用 OpaqueErrorLinterRunner,通过 run_opaque_linter 返回错误码、位置和简短描述,输出只有 502 个字符。原文举的报错是:
E402 [settlement.py:29]: Ordering invariant or reserve threshold invariant violated
它指出 settlement.py 第 29 行违反了顺序或准备金阈值约束。要留意的是,这一行没有给出正确顺序或阈值,代理仍然缺少动手修改的依据。
于是,A 组第一轮运行检查,第二轮调用 read_rule_docs,第三轮才提交修复。问题出在文档工具返回的粒度:它一次交付了 85 条企业规则,共 27,651 个字符,其中有 64 条无关的旧 SWIFT 规则,编号 E101–E164。
这些内容进入对话历史后,第三轮请求的输入膨胀到 9,981 tokens。
代理缺的可能只是一个常量,却拿到了一整本手册。原文明确举出了两个缺失信息:需要补充的币种是 JPY,以及 15000 是包含边界值的分档阈值。这类业务知识无法仅靠错误码可靠推断。
工具输出的长度,要放到整个修复过程里计算。
修复提示应该补什么,才真的有用
B 组使用 ActionableFixHintLinterRunner,通过 run_actionable_linter,在每条触发的错误下面附上一行具体的 💡 Fix Hint。
这组输出总计 2,145 个字符,比 A 组多了 1,643 个字符。但它只提供当前 4 条违规对应的修复方案,代理第二轮就完成了 3 个文件的修改,没有调用 read_rule_docs。这一轮输入是 2,450 tokens。
作者把这种方式称为即时上下文注入,Just-in-Time Context Injector。理解起来很直接:检查器发现哪个问题,就把解决该问题所需的知识一起交出来。
这里最有价值的部分,是提示的具体程度。作者建议给规则 ID 配上代码库期望的 helper function、import path 或代码惯用法。对于业务检查,提示还需要交代准确常量、阈值和边界条件;只追加一句「请遵守项目规范」,仍然会把检索工作留给代理。
不过,提供的原文虽然列出了「并排比较 E401–E404 报错」的小节,却没有附上完整消息。因此,我们知道 B 组用了具体修复配方,但无法逐条检查这些配方是否充分、是否包含了过多答案。
作者建议把这种包装用在 ruff、eslint、mypy 或自定义 AST linter 周围。这里应当区分:实验实际验证的是这套 Python 业务任务,其他工具属于推广建议。
这次实验到底省在了哪里
两组都通过了隐藏评测,成绩均为 20 / 20,也就是 100%。差异集中在完成修复所需的交互和上下文成本:
| 指标 | A 组:简短报错 | B 组:附修复提示 |
|---|---|---|
| 文档查询次数 | 1 | 0 |
| LLM 调用次数 | 3 | 2 |
| 累计工具输出 | 28,252 字符 | 2,248 字符 |
| 累计输入 tokens | 13,367 | 4,064 |
| API 费用 | $0.0160 | $0.0091 |
| 运行时间 | 21.60s | 14.86s |
对应变化是:文档查询减少 100%,调用减少 33.3%,工具输出减少 92.0%,输入 tokens 减少 69.6%,API 费用减少 43.3%,耗时减少 31.2%。工具输出缩小到原来的约 1/12.57,速度提升到 1.45 倍。
输入 token 的降幅比费用降幅更大。读这类报告时,不能把「少了多少输入」直接当成「省了多少账单」。
实验运行在 Proxmox 的 VM221,名称为 ai-e17-221,配置包括 0 NICs、PrivateNetwork=yes、ProtectSystem=strict,并分离 labexp17 / labjudge17 用户。运行记录编号是 e17-vm221-20261028-01-03。这些设置增强了执行环境和评测环境的隔离,但不能代替更多任务上的重复实验。
我的判断
我认同作者的方向:团队内部约定应当由检查器准确解释。模型已经拿到错误位置,再让它搜索「我们项目究竟要求什么」,往往是在工具接口上留下了信息缺口。
但「输入减少 69.6%」有明显前提。A 组被迫读取整本 85 条规则手册,还混入 64 条无关规则。这样的基线会放大精准提示的优势。假如 read_rule_docs 支持按 E402 查询,或者错误码能直接定位到一小段规则说明,差距可能缩小。原文没有提供这种对照。
它也没有给出多次运行的均值、波动范围或跨模型结果。两组 20 / 20 只能说明这次任务都完成了,不能证明所有仓库都能以相同幅度省钱。
和直接自动修复相比,Fix Hint 仍需要模型理解提示、完成修改。对于能够安全确定替换结果的规则,可以考虑 autofix;对于需要结合业务上下文修改的问题,精确提示更有发挥空间。这是工程上的取舍,原文没有比较两者的效果。
这次实验支持先改善反馈质量,不足以证明每条错误都需要一份固定修复配方。
尤其是涉及多种合法实现的规则,提示应交代约束和适用条件,避免把某一种写法误当成唯一答案。
能拿来做什么
- 给前端或 Node 项目的自定义检查补充修复信息,优先处理模型经常查文档的规则。例如项目要求特定 helper 或 import path,就把准确名称随错误一起返回。
- 如果 AI 编程工具会读取团队规范,先检查文档接口是否支持按规则 ID 返回相关片段。保留错误码方便追踪,同时缩小每次查询的范围。
- 评估优化效果时,同时记录最终测试结果、文档查询次数、累计输入 tokens、费用和耗时。只看单次 linter 输出大小,容易把成本转移误认为成本下降。
- 先选少量边界明确的业务规则做对照,覆盖常量、阈值和包含边界等信息;再检查提示是否会误导其他合法实现,决定是否扩大使用范围。