AI 写码测试全绿,合并前仍查出类型错误
一个以编程智能体为主的团队发现,npm test 通过并不意味着 CI 会通过:合并前执行 CI 同款验证脚本,查出了17处类型错误。团队还采用单一合并者、串行批次及 PR 两两合并预检,处理多分支协作风险。
AI 深度解读
Agent 报告「测试通过」,代码却未必能过 CI。一个以 Claude Code 编程 Agent 为主、由 Codex 负责审查的小团队,复盘了合并关卡一周内拦下的问题:类型错误、PR 冲突、数据库迁移顺序,以及 diff 中意外夹带的密钥。
他们的做法是把合并收敛到一个入口,检查多个 PR 合起来之后的结果。但一次漏过的 UI 时序故障也说明:合并前检查能降低风险,无法保证后续流水线全绿。
测试通过,究竟漏掉了什么
作者团队有多个 Claude Code 工程 Agent,各自使用独立克隆和分支;一个 Claude Code 管理 Agent 负责合并,Codex reviewers 负责审查。他们通过自建的 agent-chat 与人类成员在同一房间协作,生产操作、成本和凭据仍由人掌握。
其中一名工程 Agent 报告 npm test 通过,但这个项目的测试命令不包含类型检查。CI 还会执行构建和类型检查,因此「测试绿了」只覆盖了部分验收条件。
管理 Agent 在合并前运行 CI 使用的同一份 verify 脚本,发现了 17 个类型错误,原因是同一个类型被重复声明。
合并关卡应该复用 CI 的验收入口。
这条经验对前端项目很直接:单元测试、类型检查和构建回答的是不同问题。原文没有给出 verify 脚本的具体命令或内容,不能照抄配置,但可以照搬「合并前与 CI 共用脚本」的组织方式。
多个 PR 各自没问题,合起来呢
独立克隆能避免 Agent 互相覆盖工作目录,却无法避免两个分支修改同一个位置。
他们规定工程 Agent 只提交 PR,由唯一的管理 Agent 按脚本合并到 staging;一次处理一个批次,流水线运行期间不合并。每批开始前,先对 PR 两两运行 git merge-tree 检查冲突,再按顺序合并 staging 和该批 PR,得到组合后的代码树并验证。发生冲突的 PR 退回工程 Agent。
某一批中,两个 PR 都在部署文档的同一位置新增内容,无论谁先合并都会冲突。其中一个还会把新的数据库迁移带进次日的生产发布,最后被拆成两个 PR。
这里有两种不同的问题:文本冲突可以交给 Git 检查,发布内容是否应该一起落地,则需要审查变更范围。
迁移编号同样依赖全局顺序。一个 PR 使用了 167,但 staging 已经到 168,其他未合并 PR 又占用了 169 到 171,因此需要重新编号。管理 Agent 先在房间里确定落地顺序,迁移编号再跟着调整。风险较高的发布,还会在 staging 演练,并执行回滚。
合并入口集中后,审查也需要匹配吞吐量。最初一个 Codex reviewer 服务全部工程 Agent,审查逐渐积压;后来改成三个 reviewer,各自固定负责对应的工程 Agent,第二轮继续由第一轮 reviewer 跟进,方便核对此前的问题是否解决。
同一份 CI 镜像,也挡不住所有故障
有一次,管理 Agent 已经在 CI 使用的同一镜像中验证了组合代码树,合并后的流水线仍然失败。
问题出在 UI 时序:点击后,日期字段会在 100 ms 后重新获取焦点;当服务端也在 100 ms 后响应时,字段保留了旧月份,表格却显示新月份。修复时,团队补上了一个故意延迟响应的测试。
同一镜像有助于对齐环境,却不会自动补齐测试场景。原文没有交代这次故障为何只在后续流水线中暴露,不能据此断定是环境差异或某一种测试不稳定问题。
另一个容易忽略的边界是 Agent 之间传递的 diff。Git 的 hunk header,也就是 @@ ... @@ 所在的区块头,可能包含修改行之外的文本。如果这是 .env 的 diff,区块头也可能携带密钥。
Codex reviewer 在内部审查包中发现了这种情况。此后,工程 Agent 分享 .env diff 前,需要连同区块头一起检查。
我的判断
我赞同他们把验证对象从「单个 PR」推进到「准备落地的组合结果」。复用 CI 脚本、提前检查冲突、按落地顺序安排迁移,都对应着明确的问题。
不过,这是一份小团队的一周复盘。作者没有提供失败率、审查耗时或采用前后的对照数据,「唯一合并者」和「固定 reviewer 配对」的收益仍属于经验之谈。
唯一合并者让顺序更清楚,也可能成为吞吐瓶颈。与依靠人工协调、或交给平台合并队列相比,哪种方式更合适,还要看团队规模和现有设施;原文没有做比较。固定 reviewer 有利于连续跟进,但也没有说明某个 reviewer 积压时如何重新分配。
更值得保留的是他们对关卡能力的判断:它只检查已经知道要检查的东西。合并后流水线和故障后的测试补充,仍然有必要。
能拿来做什么
- 检查前端项目的
npm test实际覆盖范围,把 CI 的构建、类型检查等要求收敛进共同的 verify 脚本,让 Agent 的完成报告对应完整验收结果。 - 多个编程 Agent 并行提交时,先检查 PR 之间的冲突,再验证计划合并后的组合代码树;涉及数据库迁移时,提前明确落地顺序和编号。
- 遇到日期切换、请求返回后界面状态不一致的问题,把响应延迟作为测试条件,覆盖用户操作与异步响应交错发生的情况。
- 向其他 Agent 传递
.envdiff 前,检查整个 diff,包括@@ ... @@区块头中的文本,避免只检查新增行而遗漏密钥。