AI 提交门禁为何漏过失败测试
一次 AI 编程修复中,测试已提交而修复未落地;提交门禁只检查编译,导致运行失败的测试仍获放行。作者随后要求暂存区中新增或修改的 Go 测试通过所属包的 go test。
AI 深度解读
2026 年 7 月 8 日,Merlin 提交了一个会失败的 Go 测试,提交门禁却亮了绿灯。模型遵守了「每个修复都要有测试」的规则,门禁也完成了构建检查。问题出在两者之间:修复卡住了,测试单独进了代码树,而门禁只检查了编译。
作者给提交门禁补上了 go test,也给依赖 CI 或 AI 编程工具的团队留了一个核对方法:把绿灯背后的命令翻出来,看看它实际验证了什么。
为什么构建通过,测试还能失败
在会话 1e823af6 中,模型先写了 analyzer_layer_test.go。这个测试原本就应该在缺陷修好前失败,用来确认它确实能捕捉到问题。随后模型着手修复,修复却卡在一项受阻的变更里,最终只有测试进了代码树。原文没有交代那项变更为什么受阻。
按作者描述,当时门禁里的构建步骤会编译测试文件。测试里有语法错误,构建就会失败。但一段能编译的测试,只有实际运行时才会检查断言。所以,模型按规则补了测试,构建命令也按预期执行,最后却留下了一个运行时会失败的测试。团队把「编译通过」当成了「这次变更验证通过」,门禁实际只给出了前一个结果。
测试和修复怎样一起过门禁
新规则在构建之后、提交之前多做一步。只要暂存变更新增或修改了 Go 测试文件,门禁就会用暂存区里的代码,对涉及的包运行 go test。检查暂存内容很关键。假如修复还留在工作区,验证工作区可能会借用这份尚未暂存的修复,让真正要提交的版本看起来也能通过。
测试失败时,门禁会回滚这次变更并拒绝任务,提示测试和修复必须在同一个任务里一起通过,否则都不会提交。改动测试文件也就承担了对应包的测试结果,即使失败的是同包里的另一条测试。
这条规则有两个明确的边界。构建步骤覆盖更多语言,新增的测试步骤只覆盖 Go。要是 go test 因基础设施错误无法启动,门禁仍会放行提交,并把测试结果记为「不可用」。这次事件的出处是 2026 年 7 月 8 日写下的 Spec 003,验收条目为 AC-003-004-10。作者说,当次运行的日志已经过期。
我的判断
把测试绑定到将要提交的内容,是这套做法里最扎实的一步。单独检查「有没有测试文件」只能确认文件存在。在工作区运行测试可以给开发者反馈,但当暂存区和工作区内容不一致时,两次检查回答的是不同的问题。如果团队已经在合并前对待合并版本运行测试,作者这道门禁的额外价值,是把反馈提前到 AI 任务落提交之前。
按测试文件触发,有个直接的覆盖边界。只改实现代码也可能破坏已有测试,而新增规则在这种提交里不会触发。每次都运行受影响包的测试,能覆盖这种情况,执行成本则取决于项目。作者给的是一次故障复盘,没有提供改造后的耗时、拦截率或对照结果,无法据此判断哪种触发策略更适合一般团队。基础设施故障时选择放行,也需要团队接受一次提交可能缺少测试结果。
能拿来做什么
- 找出 CI 里一个常年亮绿灯的检查,读一遍它实际执行的命令,用一句话写下它验证了什么,再和团队对这个检查的理解对照。
- 给 AI 编程工具写提交规则时,把「每个修复都要有测试」补成可验证的条件,要求修复和对应测试进入同一份待提交变更,并在那份变更上运行相关测试。
- 如果你的前端或 Node 项目会分别执行构建和测试,在检查结果里把构建通过、测试通过、测试未运行标清楚,让评审者知道每项结果能证明什么。