怎样测出并行编程智能体的隐性冲突
两个智能体的改动可在 Git 中顺利合并,却因一方重命名函数、另一方调用旧名而导致构建失败。作者预先固定模型、提示词、预算和起始提交,对比两种协调方案,并按任务通过率、丢失代码行和请求人工决策的次数评估。
AI 深度解读
两个 AI 编程代理并行改同一个仓库,一个把 priceWithTax 改名为 grossPrice,另一个在新文件里继续调用 priceWithTax。Git 合并干干净净,构建却挂了。Lanes 的作者用真实的 Claude Code 会话测试了这个场景,想知道文件租约之外,给代理同步队友的改动有没有用。
新版一度跑出 20/20,但对照组也过了 17/20,没达到事先规定的冲突复现门槛。直到作者改变两个代理的启动间隔,才抓到新版自己漏报的一处竞态。对准备让多个 agent 并行改代码的团队,这篇最值得借鉴的是怎么把冲突测出来。
为什么 Git 合并成功,构建还是会挂
Git 关心两边的文本改动能不能合在一起。函数改名发生在定义文件,旧调用写在另一个新文件里,两处改动没有文本冲突。可一旦放进同一棵代码树,调用方和定义就对不上了。
作者在 11 月 1 日把实验方法写进 method.md。C 组只用已发布的 beta 版文件租约,D 组在此基础上加上团队上下文。各组使用相同的模型、提示词、预算和起始提交。任务成功按最终代码树能否通过场景检查来判定,另外统计丢失的代码行,以及代理有多少次停下来请用户做决定。最后一项由 runner 按固定模式匹配消息。失败和排除的运行也要报告,并写明原因。
试跑用了两个场景,一个让四个代理争用两个热点文件,另一个让四个代理并行工作,其中一个改函数名,另一个新增调用。每个场景每组各跑 3 次,两组全过,没有丢代码或语法错误,唯一一次向用户提问出现在 C 组。原因出在场景设计上。新增调用和改名落在同一个文件里,租约已经让后动手的代理看到了新函数名。这轮只能说团队上下文没有带来额外打扰或丢失工作,测不出它能不能处理跨文件冲突。
给代理看队友的任务,为什么还会用旧接口
11 月 3 日,作者在运行前加入 3 个新场景,让调用方写进改名者从未碰过的文件。作者先拿一份正确的代码树和一份有问题的代码树,手动确认检查能区分两者。每组各跑 3 次后,C 组在 I1 上 3 次全败,D 组在 I1 只过了 1/3,在 I3 上是 0/3。
日志给出了原因。Bea 的代理收到了 Ana 正在做什么的简报,写代码时仍然沿用了自己读到的接口。原版提醒只在代理即将编辑队友的文件时触发。Bea 只是读取并导入 billing.ts,编辑的是自己的新文件。
作者在 11 月 9 日先写下 D2 的四条通过标准,再动代码。I1 和 I3 各至少通过 9/10,C 组在 I1 至多通过 2/10,D2 不向用户提问,且比 C 多用的交互轮数中位数最多为 2。D2 把提醒加到了读取时机。代理如果读过或导入过一个文件,而该文件在本轮中途发生变化,轮末还会做一次检查,请代理重新看一眼。
每个场景、每组各跑 10 次,共 90 次。D2 在 I1 和 I3 合计过了 20/20,没有向用户提问,每个场景用的轮数还比 C 少。I1 的读取提醒在 D2 每次都触发,在 D 组一次也没触发。但 C 在 I1 过了 7/10,远高于预设的 2/10。Ana 的提交经常赶在 Bea 读取之前落地,Bea 一开始就看到了新名字。
所以这轮该看的数字是 D2 的 20/20 对 C 的 17/20。基准页写的「46% 降到 0%」用的是另一种口径,只看 I1,把两轮 C 组数据合起来,得到 13 次里 6 次构建失败,再和 D2 的 10 次里 0 次失败比较。两组数字各有对应的样本范围,报告时要把分母一起带上。
把启动间隔从 8 秒换成 4 秒,测出了什么
作者让 Bea 在 Ana 启动后延迟 0、4、16 或 30 秒再启动,对比 C 和 D2,每个场景、每组、每个延迟各跑 5 次,计划共 80 次。机器内存耗尽,实验停在 46/80。但只看 4 秒这一档,D2 在 I3 已经只通过 1/5。
失败时,Bea 先读了 orders.ts,按旧签名 addOrder(total) 决定怎么写。随后 Ana 发布了签名变更。Bea 真正落笔前,Lanes 发现她的副本落后,先把新版本同步过来。问题就在这次同步。它更新了文件,却漏记了 orders.ts 在本轮发生过变化。轮末检查看不到这条记录,也就没有让 Bea 重新核对调用。Ana 此时已经结束,旧调用留在了最终代码里。
固定 8 秒时,那条路径一直没被踩到,作者记录了 D2 连过 30 次,其中 I1 和 I3 合计 20/20。修复把编辑前同步带来的文件也记入变更记录,并补了一个在旧代码上会失败的测试。作者把修复版另标为 D3,从头重跑时序实验。原文发布时,D3 还没有跑完。
作者还单独测了几个较少受模型行为影响的指标。编辑前检查在 Linux 和 Windows 上分别增加 39 ms 和 68 ms 的 p95 延迟。64 个代理同时写入时没有丢失编辑,提交归属测试中的 107 次提交也全部归到了正确的人。
我的判断
这篇最扎实的发现,是作者能从失败日志里定位到一次具体的漏记,再用回归测试把故障固定下来。至于 D2 能把跨文件旧调用减少多少,20/20 对 17/20 还给不出稳定估计。时序实验只跑了 46 次,D3 的结果也还没出来。实验用的是小型模板仓库和 Haiku,原文没有给出换模型、换仓库后的对照数据。把这些数字推广到一般团队,目前只能当作经验判断。
对前端或 Node 团队,现有的类型检查和测试适合做最终判定。只要旧调用被纳入检查,删除导出或修改签名就有机会在集成时暴露。D2 做的是在代理本轮结束前,把它读过的接口变化送回给它再看一次,潜在收益是提前修掉旧调用,少返一轮工。原文比较的是租约和团队上下文,没有测过把同一套 CI 检查前移能达到什么效果。
能拿来做什么
- 拿仓库里的跨文件改动做场景,例如一个代理修改 TypeScript 模块的导出名,另一个代理在新文件中导入它。先用一份正确代码和一份保留旧调用的代码验证检查,再把最终代码树能否通过检查作为成功条件。
- 跑之前同时写清实验组要过多少次、对照组至少要失败多少次。跑完把分子和分母一起报出来。对照组大多通过时,翻日志确认旧接口有没有真的被读到。
- 改变两个代理的启动间隔,并记录读文件、队友提交、同步和写入的先后顺序。扫到失败时,把触发故障的事件顺序固化成回归测试,修复之后用新版本标签重新跑。
- 复跑原作者的场景可用
node scripts/runner/run.ts I1 I2 I3 --runs 10,再带--team跑一次。作者用 Haiku 驱动真实 Claude Code 会话,按 API 价格估算,两个代理跑一次约 $0.007,90 次不到 1 美元。