AI 代码验收:用独立检查补足测试盲区
AI 生成的实现与测试可能共享错误假设,测试通过仍可能遗漏完整用户流程中的缺陷。文章提出运行实际变更、组合不同检查、保持验证独立,并评估检查发现真实缺陷的能力。
AI 深度解读
AI 写完代码,测试全绿,就能合并了吗?这篇文章的答案是:还不够。实现和测试可能共享同一个错误假设,审查者也可能因为上下文不足,漏掉真实用户会遇到的问题。
文章借 Claude Code 团队的做法,讨论如何为 AI 生成的改动收集证据。最有用的部分不是让 AI 多检查几遍,而是让不同检查覆盖不同风险,让结果对应最终提交,并提前约定失败后何时交给人处理。
先定义什么叫做对,再决定跑什么测试
原文引用 Addy Osmani 在 2026 年 11 月 16 日介绍的团队实践:Claude Code 团队约 90% 的代码由 Claude 编写和审查。这个数字来自 Anthropic 自述,没有独立审计,不能直接拿来证明 AI 编程的可靠性。
真正可以借鉴的是,他们把运行应用纳入验证流程,并通过项目专属指令,要求在保存 commit 前启动应用、实际操作相关改动。
测试全绿,只能证明跑过的检查通过了,不能证明检查覆盖了用户的任务。
因此,验证要从行为要求开始。比如修改分页接口,验收条件不能只有「返回成功」,还应包括:父记录数量不超过请求上限,每条记录带有所需的子数据,数据库查询没有把所有匹配结果加载进应用内存。
这几条检查指向不同问题。响应结构正确,不代表分页正确;页面显示正常,也不代表查询没有浪费内存。
这里要区分两类证据:实现证据说明代码按预期发生了变化,行为证据说明运行中的系统满足要求。读过 diff、确认函数被调用,属于前者;沿真实流程完成操作并检查结果,才开始接近后者。
完成标准越具体,AI 越容易知道该验证什么,审查者也越容易判断还缺什么。
三种测试分别拦住什么问题
原文没有推荐一种包办所有风险的测试,而是强调让检查因不同原因失败。
端到端测试(E2E)负责贯通真实路径。例如创建记录、打开详情页、修改字段,再刷新页面确认值仍然存在。它能发现单元测试容易漏掉的连接问题:路由没有接上、响应格式不匹配、按钮始终禁用,或者数据经过不同层后丢失。
代价是运行较慢,也容易受环境干扰。原文建议保留一条小而稳定的关键路径,并保存失败步骤、相关输出,以及环境支持时的截图或 trace。只留下一个超时错误,往往无法帮助下一轮修复。
基于属性的测试(property-based testing)检查大量输入是否都遵守同一规则。例如编码后再解码应得到原值,账户余额不能为负;还可以验证幂等性,也就是重复操作不会产生额外效果,或者用简单的参考实现校验优化版本。
这类测试的价值来自规则覆盖的输入空间,而不是随机生成本身。如果需求含糊,生成再多输入也没有明确的判断依据。找到反例后,要保留失败输入,让它成为回归测试。
差分测试则适合迁移和重写:把同一批输入交给新旧实现,比较输出。原文举的是解析器,也提到可以使用随机输入或生产流量样本。
但旧实现只是参照。迁移如果同时修复历史缺陷,新旧结果就应该不同。应先归一化无关差异,再记录哪些变化经过认可,不能把「完全一致」当成唯一目标。
验证规则不能随补丁一起失去约束
覆盖面之外,还有一个容易忽略的问题:被检查的代码,能否顺手修改评判自己的规则?
Claude Code 团队的做法是从目标分支读取审查规则,而不是直接信任待合并改动里的版本;审查结果还会绑定具体 commit,避免旧代码的通过结果被套到新代码上。
普通项目可以落实为几条约束:把必需检查放在 CI 配置或其他可信位置,让验证报告包含 commit 标识,代码变化后重新执行检查,并让人明确审查测试规则的变化。
产品行为变化时,测试当然可以跟着改。但如果 AI 删除断言、放宽预期值后宣布通过,审查者需要知道:旧断言为什么不再成立,新检查又如何抓住原本想防止的问题。
团队对新提交门禁还采用观察模式:先记录哪些改动会被拦截,检查误报并调整,再正式阻止提交。这个步骤适合那些尚未证明有效的新规则。
失败处理也要提前约定。原文称,团队会把经过 3 轮修复仍未解决的失败交给人处理;不允许 Claude 跳过不稳定测试、添加 sleep,或反复重试直到碰巧通过。
他们在无法定位原因时会移除测试并记录理由,这是该团队的流程。其他项目也可以暂时隔离测试、登记问题,并阻止受影响版本发布。关键是保留失败状态和决策依据,不能让一次偶然通过掩盖原因未明的问题。
检查清单要从事故里生长,也要接受检验
原文提到,Claude Code 团队维护了 39 项可靠性检查。每项包含能从 diff 识别的触发条件、具体检查,以及促成规则的事故或 pull request 记录。一次改动通常只匹配 3 到 10 项。
这比每次执行完整清单更有针对性。例如会话存储或消息类型变化,就检查旧聊天记录缺少新增字段时是否仍能正常工作。
小团队可以从漏掉的缺陷开始积累:当时什么变化触发了问题,哪项检查能够提前发现,以后碰到什么改动才需要运行。规则也要定期清理,删除过时项、合并重复项,确认它仍能抓到对应故障。
Claude Code 的 Skills 可以保存可复用流程,Hooks 可以在工具调用、会话结束等事件执行动作,相关文档涵盖命令、HTTP 调用及其他类型。它们方便重复执行,但检查是否有效,仍取决于项目自己的规则和结果。
原文还介绍了 Code Review 团队的评估方式:用历史事故和后来被撤销的改动作为缺陷案例,分开调优集与固定测试集,再拿合并后持续稳定的改动检验误报,并分别测量原始发现、验证后发现、最终审查三个阶段的召回率。
大白话就是:别只统计检查报了多少问题,还要看它找回了多少已知缺陷,又冤枉了多少正确改动。
我的判断
我赞同这篇文章把重点放在证据,而不是 AI 自报的完成状态。尤其是「规则独立」「结果绑定最终提交」「失败有停止条件」,普通团队也能逐步采用。
但这仍是一份团队实践转述。原文没有给出采用前后的缺陷率、验证耗时、误报率,也没有对照数据证明这套流程优于其他方案。90% 的代码占比,更不能解释他们付出了多少验证成本。
相比只补单元测试,E2E 更适合检查跨层流程,却增加了环境维护负担;相比人工选择样例,属性测试能探索更多输入,却要求规则足够清楚;差分测试能帮助迁移,却可能延续旧系统的错误。取舍要看改动风险。
验证质量取决于证据能否支持验收条件,而不是报告里出现了多少种测试名称。
能拿来做什么
- 给 AI 编程任务补上简短验收条件。前端可以写明操作后刷新仍保留数据,Node 接口可以写明分页数量、关联数据和查询内存要求,并要求代理先说明准备运行哪些命令。
- 为关键改动安排两层验证:先跑相关的窄范围测试,再运行应用中的真实路径;提交审查前补齐构建、自动样式检查及相关测试集。
- 把重复出现的问题整理成按 diff 触发的检查。例如消息结构新增字段时检查旧记录兼容性,解析器重写时比较新旧输出,并记录允许存在的差异。
- 固定 AI 的交付格式:说明改了什么、检查了什么、结果如何、哪些没有检查,以及是否仍有失败;同时报告对应的最终 commit,并约定修复次数上限和转人工条件。