AI 写完应用后,如何补齐测试与验收
文章建议为 AI 生成的应用建立可执行检查:覆盖核心操作、要求展示测试命令及输出,并由新会话复核改动。上线前用预览环境完成真实任务,上线后收集用户错误,弥补手动点击覆盖不足。
AI 深度解读
AI 把页面搭出来很快,证明它能稳定完成用户的任务,却是另一回事。这篇文章的主张是:给 AI 一套可以反复运行的验收标准,再用真实任务、独立审查和线上反馈补齐检查。
它没有拿出一组证明 AI 测试效果的对照实验,而是把开发者经验与工具文档整理成操作流程。对正在用 AI 写前端、做全栈应用的人,最有价值的是:怎样把「看起来好了」变成有证据、可重复的交付判断。
页面能点通,为什么还不能算完成
Karpathy 在 2025-04-27 分享 MenuGen 的开发经历时说,自己一度觉得网站完成了 80%,实际却更接近 20%。这不是项目工时的统计结论,而是对视觉完成度容易制造错觉的一次个人描述。

页面显示正常,只能证明你刚才走过的那条路径正常。空表单、重复点击、第二个账号、弱网下的手机,可能分别触发另一套行为。
原文还引用了 DHH 在 2025 年的经历:AI 可以生成看起来能工作的系统,但修一个问题时,可能破坏其他功能。这里真正需要防范的是回归,即原先正常的行为在修改后失效。
所以,验收不能依赖「昨天试过」。每次修改后都能重新执行的检查,才有机会发现这种退步。
可重复的检查,是 AI 编程从演示走向交付的基础。
这并不要求一开始就建立庞大的测试体系。先列出注册、登录、支付、保存、删除等核心动作,再检查页面可能出现的空白、加载、失败、超长输入和无权限状态。动作回答「用户要做什么」,状态回答「在什么条件下做」。
竞态条件也要单独检查。它指多个操作的执行顺序影响了结果,例如按钮连点两次产生重复提交,或者两个标签页同时保存,后一份数据覆盖前一份。界面截图通常暴露不了这些问题。
怎样让 AI 证明自己做对了
原文整理的工具文档建议,核心都是给 AI 一个能执行的成功标准。测试文件、构建、linter、浏览器截图与设计稿对照,都能提供反馈,但各自证明的事情不同。
构建通过说明项目可以完成构建,不能证明支付正确;截图接近设计稿,也不能证明账号权限正确。验收标准必须对应你担心的失败方式。
作者建议直接要求 AI 完成几件事:列出核心操作,为重要操作编写自动化测试,覆盖关键状态,检查重复提交和并发保存,并展示实际运行的命令及输出。
这里没有提供可复制的测试代码,也没有指定测试框架。能拿走的是提要求的方法,不是一套现成配置。
「测试通过」只是结论,命令、输出和覆盖范围才是核验依据。
另一项建议是,让没有参与编写过程的新会话审查代码。原文提到了 Claude Code 的 /code-review,并认为未接触原对话的审查者,较少受到原先推理过程的影响。具体命令是否可用、如何调用,原文没有交代适用版本。
这条建议有用,但独立会话依然可能漏看问题。它提供的是另一轮审查机会,不能充当正确性保证。
对于不熟悉的代码,作者还建议先让工具解释,再决定是否接受。每次只改一个明确问题,查看 diff 中哪些文件发生了变化,并追问超出需求的修改。如果反复纠正仍然失败,就开一个干净会话,把目标和验收条件重新讲清楚。
这套做法对程序员同样适用。改动越小,越容易判断测试是否覆盖了它,也越容易定位新问题来自哪里。
真正的验收,要一直延伸到上线以后
自动化检查之外,原文最有说服力的案例来自实际使用。
2001 年,Joel Spolsky 在 CityDesk 距离发布约三周时,把一个版本带回家,用它搭建真正的网站,大约两小时发现了 45 个 bug。数字来自这次经历,不能推算成其他团队的缺陷发现率;它说明的是,完成真实任务能暴露孤立功能检查遗漏的问题。
作者建议写下一句话,说明应用究竟帮用户完成什么,然后用新账号从头做完。再换手机、移动网络和其他浏览器,把空值、错误内容和超长输入填进表单。最后找一个没见过产品的人操作,观察时不要提示。
停顿不一定都是代码 bug,却可能暴露文案、导航或交互的问题。对用户而言,找不到下一步也会让任务失败。
1996 年 QuakeWorld 的案例补充了环境差异:原有网络代码在局域网表现不错,拨号网络上的延迟却影响体验,客户端预测改善了输入响应。放到 Web 应用里,提醒就是别把开发机上的网络和设备条件当成用户环境。
发布流程也要提供检查机会。原文借 Simon Willison 的建议,主张先让测试通过,再部署到 staging,确认后进入生产。Vercel 的 Preview Deployment 被用作例子,让新版本先有一个可检查的地址。
Git 则保留代码变更记录。不过,恢复代码版本并不自动恢复数据库或已经发生的外部操作,原文没有展开这些边界。
上线后,检查转向真实错误。原文提到 Spolsky 在 Juno 收集崩溃堆栈、下次联网时上传,并汇总进缺陷库的经历。对应到应用,就是记录崩溃、失败请求及操作上下文,配置告警,并让用户方便地反馈问题。
最后,把每次修复留下来:先写一个能够复现故障、当前会失败的测试,再修复代码,最后重跑相关检查。这些测试逐渐形成项目的故障记录,后续修改时可以继续使用。

我的判断
我认同原文把验收标准放在生成结果之前。对于前端和全栈项目,AI 能快速完成大量修改,而人工逐项回忆原有行为很吃力。把核心流程变成可重复检查,确实比每次随手点几下更容易判断改动是否可靠。
但文章的证据主要是人物经历、观点和文档建议。它没有提供同一项目采用不同测试方式的对照数据,也没有给出成本、漏检率或维护负担。DHH 关于 agent 更擅长发现竞态等问题的判断,应当视为经验之谈,不能直接推广到所有代码库。
原文将工具文档统一标注为核查于 2026-11-18。这是原文的核查声明;所给材料没有展示完整文档上下文,不能据此认定每项能力都适用于任意版本和套餐。
还有两个地方需要收紧。第一,AI 写的实现和测试可能共享同一个错误理解,因此测试通过后,仍要回到业务要求检查。第二,用户反馈值得优先调查,但 Jeff Atwood 将客户 bug 赋予测试人员发现问题的 10 倍权重,是个人排序经验。实际优先级还应考虑影响范围、数据损坏和安全后果。
相比只做人工验收,自动化更适合反复确认已有行为;相比只看测试结果,真实任务更容易发现流程和体验缺口。它们各有用途,不能相互替代。文章末尾也明确说明,被引用的人物没有撰写、审阅或背书这份指南,不能把名人引用当作整套流程已被共同验证。
能拿来做什么
- 下次让 AI 修改登录、保存或删除功能时,把验收条件一起写进请求,明确成功、失败、无权限和重复操作时分别应该发生什么,并要求展示实际执行的检查命令与输出。
- 每次接受修改前,查看 diff,确认变更范围,再运行项目已有检查;对重要改动,用新会话补一次审查,并核对它指出的问题是否成立。
- 发布前,在预览环境用新账号完成一次核心任务,再用手机和较慢网络重做;请没见过应用的人操作,记录步骤、预期结果和实际结果。
- 收到用户 bug 后,先让 AI 编写能稳定复现问题的失败测试,再修改实现并重跑检查,让这次故障成为以后可以自动核验的一条记录。