跨模块改动批量提交,减少 Agent 测试反复
实验比较逐文件修改后立即测试与跨文件原子批量修改,讨论耦合模块重构中的无效编辑测试循环。标题报告批量方案快2.26倍;摘录说明采用隔离虚拟机和隐藏20用例评测,但未展示完整结果。
AI 深度解读
AI 编程助手改完一个文件就跑测试,看起来反馈及时,遇到跨模块重构却可能越测越乱。作者用一个三模块支付结算任务做了对照:逐文件修改、穿插测试的方案通过 17/20 项,整批修改后再验证的方案通过 20/20 项,耗时从 28.23 秒降到 12.47 秒。
值得借鉴的是测试触发时机:上下游接口需要一起改时,半成品产生的报错未必能指导修复,反而可能挤占上下文。不过,2.26 倍提速来自一次具体实验,还不能当作所有项目的通用收益。
为什么改完一个文件就测试,会把助手带偏
实验 E23(候选编号 C019,Run ID 为 e23-20261028-vm227-01)围绕一条支付结算流水线展开:validator.py 生成标准化记录,settlement.py 消费记录并生成批次字典,statement.py 负责格式化输出。
这里的关键是跨模块契约,也就是上下游对字段、格式和取值范围的共同约定。生产方换了记录结构,消费方还按旧结构读取,测试自然会报错。但此时错误可能只是迁移尚未完成,并不代表修改方向错了。
作者比较了两个执行器:
SequentialSingleFileEditRunner分轮修改文件,在改动尚未覆盖全部模块时运行测试。AtomicMultiFileBatchRunner通过ATOMIC_MULTIFILE_BATCH_MD预先说明三个模块的生产与消费契约,再调用apply_atomic_multifile_batch,整批应用修改后才验证。
顺序方案第一轮调用 edit_single_file_and_test,触发 74 条 CrossModuleContractDesyncError 堆栈;第二轮调用 patch_second_file_and_test,此时校验和结算模块已经更新,输出模块仍未同步。直到第三轮,三个文件才全部提交。
这些中间错误会进入下一轮模型输入。助手于是需要从大量尚未完成迁移的报错中,判断哪些值得修复、哪些应该暂时忽略。
跨模块修改尚未完成时,集成测试的失败可能只是在重复报告一个已知的过渡状态。
一次批量修改,具体省掉了什么
作者使用 gemini-3.8-flash,设置为 thinkingLevel: LOW、temperature=0.0。任务运行在 Proxmox 隔离虚拟机 VM227(ai-e23-227),配置包括 0 NICs、PrivateNetwork=yes、NoNewPrivileges=yes 和 InaccessiblePaths,执行与评分身份分别为 labexp23、labjudge23,使用隐藏的 20 项评分套件。
这些安排有助于隔离执行和评分环境,但隔离程度与结论能否推广,是两件事。
| 指标 | 顺序修改方案 | 原子批量方案 |
|---|---|---|
| 测试通过数 | 17/20,85.0% | 20/20,100% |
| LLM 调用次数 | 3 | 1 |
| 累计输入 token | 41,664 | 2,208 |
| API 成本 | $0.0419 | $0.0076 |
| 耗时 | 28.23s | 12.47s |
按作者报告,批量方案减少了 66.7% 的调用、94.7% 的输入 token 和 81.8% 的 API 成本,输入量相差 18.87 倍;耗时减少 55.8%,对应 2.26 倍提速。
顺序方案三轮输入分别为 1,658、13,515、26,491 token。增长的主要问题在后两轮:前面产生的错误日志,需要继续带进模型上下文。
原文称前两轮产生了 61,504 字符的不同步日志,第三轮上下文有 92% 被这类噪声占据。不过,文中分项数字是 30,766 和 30,420 字符,相加为 61,186,与总数相差 318 字符;92% 的计算口径也没有展开。日志很多这一观察有支撑,具体占比仍需原始记录核对。
最终代码里,顺序方案留下了两个业务错误。下面这段用于校验金额并生成标准化记录:
if cnt <= 0 or cents <= 0 or not (0 <= bps <= 1000): # <-- Fails validator_05 & e2e_03 ($0 auth rejected)
raise ValueError("numeric bounds violated")
out.append({
**item, # <-- Fails validator_01 (spreads unapproved "extra" keys!)
"merchant_id": mid.strip().upper(),
"currency": cur.strip().upper(),
})
要看两处:cents <= 0 拒绝了任务要求允许的 $0 授权,**item 则把未经批准的额外字段带进输出。
批量方案交付的对应代码明确了金额边界和输出字段:
if cnt <= 0 or cents < 0 or not (0 <= bps <= 1000): # <-- Passes validator_05 & e2e_03 ($0 auth allowed)
raise ValueError("numeric bounds violated")
out.append({ # <-- Passes validator_01 (exact 5-key schema)
"merchant_id": mid.strip().upper(),
"currency": cur.strip().upper(),
"tx_count": cnt,
"unit_cents": cents,
"chargeback_bps": bps,
})
这里要留意 cents < 0,以及显式列出的五个字段。金额允许为零是该任务的业务规则,不能直接搬进所有支付逻辑;输出白名单则让模块契约更容易核查。
我的判断
我认同作者对测试时机的提醒。自动化反馈只有对应一个可判断的状态,才容易帮助助手收敛。对于必须同步调整的上下游接口,先完成这一组修改,再跑集成测试,是合理的执行边界。
但这次对照同时改变了两个条件:批量方案既有多文件编辑工具,也额外注入了明确的跨模块契约协议。因此,成绩提升不能全部归因于「原子提交」。更清楚的任务说明、减少调用轮次、延后测试,可能都贡献了收益。
作者把最终业务错误解释为日志噪声造成的注意力偏移,这个解释说得通,却还缺少单独对照。比如保留逐文件编辑,只延后测试,或者压缩重复堆栈,结果是否一样?原文没有给数据,也没有报告多次重复实验的分布。
这次实验支持优先调整验证边界,还不足以证明原子工具是唯一有效的方案。
工具层面的「原子」也没有完全展开:批次写到一半失败能否回滚,外部进程会不会读到部分结果,原文没有说清。延后测试可以避免评分器看到过渡状态,但不能直接推导出完整的文件系统事务保证。
作者还建议结合 E15 的 SEARCH/REPLACE Blocks,用文件路径映射到替换块列表。E15 报告输出 token 减少 63%、速度提高 2.41 倍,E23 则报告输入 token 减少 94.7%。两者处理的开销不同,但原文没有给出组合实验,不能把这些收益直接叠加。
能拿来做什么
- 给 AI 编程工作流增加一个明确的批次完成信号。修改相互依赖的模块时,允许助手连续编辑多个文件,完成后再触发覆盖整条链路的集成测试。
- 修改前先写清生产方与消费方的字段约定。对于 Node 中类似「输入校验、业务计算、结果格式化」的调用链,把允许字段、金额边界等规则一起交给助手,减少它跨文件猜测。
- 如果编辑工具只能一次改一个文件,可以先调整测试钩子。把测试延后到整组改动完成,是原文明确提出的替代做法,不必先实现一个复杂的事务工具。
- 检查测试输出是否在反复灌入相同堆栈。先记录调用次数、累计输入 token、耗时和最终通过率,再比较验证时机调整前后的结果,判断收益是否适用于自己的任务。