让 AI 先写失败测试,再修缺陷
修复前先用失败测试复现缺陷,再追到共享逻辑中的根因。修复后保留该用例,并走一遍真实用户流程,捕捉被模拟依赖掩盖的回归。
AI 深度解读
AI 修完一个 Bug,为什么原本正常的页面也坏了?原文把问题归到两个地方:AI 容易在症状出现的位置打补丁,而现有测试可能根本没走到被改坏的路径。比如按钮显示了错误价格,AI 给按钮加了特判,其他页面却还在用同一套有问题的计价逻辑。
作者给出的流程是先用失败测试复现,再沿调用链修根因,最后走一遍用户真正会用的路径。它最适合拿来改造日常的 AI 修 Bug 任务:把「帮我修一下」变成几项可以验收的要求。
先让测试因为这个 Bug 失败
让 AI 先写复现用例,在改业务代码前跑一次,确认失败原因和实际故障一致。假设计价出了问题,先看测试是否拿到了错误金额。测试数据缺失、页面没打开,同样会让用例变红,但这些结果还没复现计价错误。
修复后重跑同一个用例,并把它留下来。这样下次重构计价逻辑时,旧问题一旦回来就会有明确信号。如果 AI 越修越乱,作者建议结束当前会话,把失败用例和一句预期行为交给新会话,让它从可运行的复现重新开始。
同一处补到第二次,就查共享逻辑
先让 AI 用一句话描述问题属于哪一类,例如「失败的网络请求需要重试」或「布局需要适配不同窗口尺寸」。这一步能把搜索范围从报错组件扩到仓库里的共享实现。按钮和订单页都用同一个价格时,就沿着调用链找到计算入口,确认哪一层第一次产出了错误值。
作者建议优先复用仓库里已有的实现,或采用成熟库。发现 AI 第二次给同一处打补丁时,作者主张暂停,检查这段实现能否用已有方案替换。
让回归测试走真实路径,让提交能回退
打开真实页面,点击真实按钮,断言用户看得到的结果。应用内部代码尽量照常运行,网络、时钟、磁盘、设备等边界按需用测试替身(mock)。测试数据也通过应用自己的写入入口准备,让默认值、校验和关联写入一并走到。测试失败后先查原因,把放宽断言和调高超时排除在让测试变绿的手段之外。
作者还要求每次 AI 修改前先留一个可回退的提交,一次提交只处理一项改动,只包含相关文件。改完跑类型检查、lint 和测试,提交时保留 hooks,禁止用 --no-verify 跳过。作者称,他们用于开发自家产品的免费 starter kit 已经打包了这套规则,支持 Claude Code 和 Codex。
我的判断
先复现有一个很实在的收益:审查者能看到同一个用例在修改前后为什么一红一绿。计算错误可以用单元测试快速定位,跨页面的计价回归则适合补一条真实交互用例。两种测试覆盖的故障范围不同,没必要给每个纯函数 Bug 都配一条浏览器流程。
「第二次就考虑替换」适合当作停下来检查的信号。旧模块可能承载了测试还没覆盖的业务规则,直接换实现也有迁移成本。原文没有给出回归率、修复耗时,也没有比较 Claude Code、Cursor 和 Codex 的表现。能确认的是作者分享了他们团队在用的流程,减少回归的幅度仍是经验之谈。
能拿来做什么
- 给 AI 发 Bug 任务时附上一句预期行为,要求它先交付复现用例和失败原因,再修改业务代码。
- 遇到金额、权限这类多处共用的结果,让 AI 先找共享入口和其他调用方。修复后保留最小失败用例,并挑一条受影响的真实页面流程验证。
- 把类型检查、lint 和相关测试写进任务的验收条件。一次只提交一个修复,保留 hooks,方便审查和回退。