八千多项测试全过,AI 写的代码仍在启动时崩溃
作者在两个项目中用 AI 写代码并安排另一个 AI 审查,即使八千多项测试全过,仍遇到三次验证漏判。披露的案例中,审查代理只读了变更报告,作者随后要求用真实数据验证实际入口。
AI 深度解读
作者在两个项目里用 AI 写代码,手里有 8,000 多个测试,却遇到三次测试全绿、功能照样出错的情况。问题都出在同一个环节:检查。第二个 AI 只读了摘要,交易规则只分开测过,能拦住坏证明的用例压根没执行。
这篇最值得带走的是绿灯之后的四个动作。它们能帮你弄清,刚才通过的检查到底覆盖了哪份代码、哪些输入,以及哪条真实使用路径。
第二个 AI 做评审,它到底看了什么?
AI Engineer 大会上,几场 AI 编程演讲的观看量合计约 600 万次。作者把它们归纳成四步:人做决定,AI 实现,安排检查,把发现的问题送回下一轮。他把这套流程用在两个项目里,一个交易台只向沙盒发订单,另一个安全实验室由 5 个 AI agent 构建零知识证明工具链。
某个周五,交易台一启动就崩了。缺陷已经存在了 18 天,专门测这段代码的用例一直是绿的。第二个 AI 确实做了评审,但它只看了第一个 AI 写的报告,没打开代码。作者提到,Matt Pocock 的评审流程会直接读实际提交。读摘要可以快速了解改动意图,签字前还得核对代码究竟做了什么。
每条规则都通过了,为什么一笔交易也过不去?
作者为交易台新增了 5 种交易,AI 给各条规则写了测试,数千个用例通过。等作者真的往沙盒下单,才发现整条路径有问题。他让 AI 用真实数据遍历入口,统计有多少候选能同时满足全部规则。34,622 次尝试,0 个通过。
单条规则的测试能说明它各自会放行什么。规则串起来之后,同一份输入得通过每一道检查。逐条测试里的合法样本可以各不相同,所以即使每条规则都有通过用例,整条链路仍可能把实测候选全部挡在外面。原文没交代是哪几条规则造成了这个结果。
写了拒绝用例,还要确认它真的跑过
安全实验室里的证明验证器应该拒绝错误证明,作者喂进去随机字节,却得到了「有效」。能抓住这个问题的 2 条用例已经写在测试文件里,但一次也没执行。原文没说明它们为什么没跑。
绿灯之后,作者现在做四项检查:给验证器明确该拒绝的输入,比如垃圾数据或只改了一位的数字,再去报告里找对应的执行记录;拿真实数据证明至少一个样本能通过整组规则;让评审者打开代码或实际提交;用真实组件按日常方式走一遍流程。交易台的沙盒练习模式找到了 3 个数千条测试漏掉的问题。四项检查里有两项直接来自演讲,作者说自己之前执行得不到位。
我的判断
这几个案例里,最容易推广的是核对检查证据。单元测试适合定位哪条规则出错,真实样本跑通一次可以确认多条规则确实能组合起来,沙盒演练还能覆盖启动和真实组件接线。三者各有用处。一个样本能跑通,只能证明这条路径至少有一个成功案例。
34,622 次尝试和 0 个通过是作者在一个项目里的实测结果。原文没有对照数据,四项检查能帮一般团队少漏多少缺陷,仍是经验之谈。评审环节本身也还有缺口:作者目前得手动把真实文件贴给评审者,且并非每轮都贴。评审报告已经带文件名和行号,没核对的内容会标为 unchecked,自动核对这些记录的脚本还没写。
能拿来做什么
- 让 AI 评审前端或 Node 改动时,把实际 diff 和相关文件交给它,要求每条发现落到文件和行号,并标明哪些地方没检查。
- 给表单校验或 Node 接口新增一组规则时,选一份脱敏的真实合法样本,从正常入口走完整条校验链,断言它能成功。
- 给关键校验补一条明确该失败的用例,在测试报告里按用例名确认它执行过。合并前再用测试环境从启动走到这次改动涉及的操作。