Claude Code 团队如何让智能体自证代码可用
Claude Code 团队称,约九成代码由 Claude 编写和审查,扩大任务委派规模的关键是测试、基准和端到端运行组成的验证闭环。内部结构化文件生成测试中,独立评分器按标准验收使任务成功率最多提升约 10 个百分点,难题收益更明显。
AI 深度解读
Claude Code 团队约 90% 的代码由 Claude 编写和审查,但这篇文章真正讨论的,是团队如何判断这些改动确实能用。它的结论很直接:要把更多任务交给 Agent,先得让验证结果可信,否则并行开得越多,人工验收越容易堵住。
这篇 dev.to 文章转述了 Addy Osmani 于 2026 年 11 月 16 日发表在 Anthropic Claude.dev 的文章。对程序员最有用的部分,是它把测试、审查规则、失败升级和历史事故串成了一套工作流程,也交代了这套流程如何避免自己骗自己。
为什么验证比继续打磨提示词更关键
作者引用了一项结构化文件生成内部测试:让独立评分器按评价标准检查 Claude 的产出,相比普通提示词循环,任务成功率最多提高 10 个百分点,最难的问题收益最大。
这个结果支持「独立检查有价值」,但范围要看清:它来自结构化文件生成任务,不能直接推导成所有编程任务都能提升 10 个百分点。原文也没有给出样本量、完整评分标准和成本对照。
验证能扩大委托规模,靠的是把人工判断转成可重复执行的软件。测试、基准和端到端运行脚本,过去需要人投入时间编写;现在可以让 Agent 协助生成。生成过程仍有成本,但脚本确定下来以后,重复运行主要消耗计算资源,不必每次都让模型重新推理。
决定你能同时委托多少任务的,是你能多快拿到可信的完成证据。
验证结果还要改变后续行为。例如,检查反复发现日志包含用户数据,团队就补充 hook 或 CLAUDE.md 规则。否则 Agent 只是不断修同一类错误,验证没有形成积累。
文章称,没有这层机制,人通常只能照看一两个 Claude;有了它,可以并行运行几十甚至上百个。这是作者对工作方式的判断,原文没有提供对应的人效对照实验。
哪些测试最能发现 Agent 的盲区
文章把端到端测试(E2E)放在优先位置,因为它直接检查用户流程:加入购物车、结账、进入确认页。单元测试全绿,仍可能交付一个无法完成购买的页面;E2E 则把这些零件连起来验证。
失败证据也更具体。原文用「30 秒后超时」举例,对比 E2E 提供的步骤轨迹、截图和故障描述。不过,这取决于测试工具和诊断配置,不能理解为 E2E 天然就有完整证据。作者也承认,单元测试通常更快、更稳定。
属性测试适合寻找人和 Agent 都没想到的输入。它先声明必须成立的性质,例如编码再解码应还原原值、账户余额不能为负、重复执行应保持幂等,再让库生成成千上万组输入尝试推翻它。JS/TS 可以用 fast-check,Python 用 Hypothesis,Rust 用 proptest。
这里的价值在于:输入由测试库生成,不完全依赖写实现的 Agent 自己挑例子。但性质仍需人来判断是否正确,写错不变量,同样会得到错误的安全感。
差分测试则用于行为应当保持一致的迁移:旧系统和新系统接收相同输入,再比较输出。输入可以随机生成,也可以取生产流量样本;比较前需要消除空白等无关差异,并记录已经批准的行为变化。
三类测试各有用途。E2E 检查流程,属性测试寻找边界,差分测试守住迁移前后的行为。原文同时提醒:不稳定测试会让 Agent 学会反复重跑,慢测试会拖长反馈周期,较重的检查应安排在提交之前。
怎样把「跑过了」变成可以检查的证据
Claude Code 团队对验证的要求包括真正运行应用。Web 改动使用 Claude Chrome extension,移动端使用 iOS 或 Android MCP,桌面端使用 computer use,后端则运行本地服务。
启动应用、打开模拟器、执行验证的步骤,被写成名为 verify 的 skill,放在仓库的 .claude/skills/ 下,并靠近相关代码维护。它相当于整个项目的冒烟验证入口,因此团队会持续优化它的速度和可靠性。
失败也有出口:Claude 先尝试修复,三轮之后检查仍然失败,就停止并交给人。检查规则由代码负责人编写和调整,目标是识别负责人真正会提出的问题;需要叫来审查者时,还必须解释原因。
他们还维护了一份 39 项可靠性清单。每项都有从 diff 可识别的触发条件、检查内容,以及对应事故或 PR。Claude 通常只执行命中的 3 到 10 项。
例如,--resume 会加载旧会话记录。只要改动涉及会话存储或消息类型,就应检查旧记录缺少新增字段时是否仍能安全加载。这样,过去踩过的坑就能在相关改动出现时被重新唤起。
审查方面,团队更倾向于调好主要审查者,而非追加第二个更贵的审查者。REVIEW.md 记录关注点,多轮审查沿用前轮上下文和历史失败信息。至于「更便宜、发现更多」,原文没有给出完整对照数据,应视为团队经验。
验证规则为什么不能跟着 PR 一起改
如果一个改动能修改裁判自己的规则,通过检查就不足以证明它可靠。
因此,Code Review 从基础分支或默认分支读取 REVIEW.md,不读取 PR 中修改后的版本。审查结果还必须绑定具体提交,旧 commit 通过审查,不能覆盖后来新增的代码。
便宜的检查先跑。Claude 在开 PR 前执行测试、构建和 linter,减少共享 CI 与审查资源的浪费。
新增门禁先观察,再决定是否阻断。每个提交都会记录验证方式,未验证也明确记为 none。提交门禁检查会话是否执行过 /code-review 或 /verify,并提供 off、observe、enforce 三种模式。observe 只记录本来会阻止哪些提交,方便先排查误报。
这里留了逃生口:提交消息可以解释为什么没有验证;同一会话被阻止两次后,下一次提交会放行。因此,「每次改动都验证」不能理解为绝无例外的硬保证。
团队也评估审查器本身。他们用历史事故和回滚重建当时的仓库,每个案例配一句话的缺陷答案,只给准确指出该缺陷的发现计分;同时用规模相近、合并后稳定的改动作对照,检查是否过度报错。
调优集与固定测试集分开,召回率分别在原始发现、验证后和最终审查三个阶段测量,避免系统已经找到问题,却在后续处理中丢掉。发现还分为 Important、Nit、Pre-existing,区分重要问题、细节和既有缺陷。
漏检如何进入规则,也有约束。审查评论或回滚中提取的模式,至少要出现在两个 PR,且能从 diff 识别,再由三个 Agent 尝试反驳,最后经人工批准。另一条路径是让三个缺陷查找 Agent 重放事故 PR,至少两个找到问题,才把它视为可检测的缺陷;小 diff 漏掉这类问题,就值得补进 REVIEW.md。
我的判断
我赞同把「定义完成条件、检查证据」放到 AI 编程流程的中心。对前端和全栈团队,这比只看生成速度更接近交付质量。尤其是绑定提交、隔离审查规则、用稳定改动检查误报,这些做法能直接减少验证流程中的自欺。
但原文是一套成熟团队的实践,维护成本不能忽略。可靠的运行环境、历史事故样本、代码负责人和持续调优,都需要投入。约 90% 的代码由 Claude 编写和审查,也不等于交付效率提高了 90%,更不能据此判断人工投入已经很少。
与常见的「单元测试加人工看 diff」相比,这套方案补足了真实运行和长期规则积累;它没有证明所有项目都该优先扩充 E2E,也没有证明单个审查者在所有模型、预算和代码规模下都更好。
还有一条需要谨慎借鉴:作者不允许 Agent 跳过不稳定测试、加 sleep 或重试到通过;找不到根因时,可以删除测试并记录原因。前半段值得采用,删除则需要确认覆盖是否丢失。记录原因不能替代对业务风险的判断。
「漏过一次就写成规则」有价值,但不能承诺以后永不再漏。团队定期清理测试、验证步骤和 .md 规则,恰好说明规则过多也会损害执行效果。
能拿来做什么
- 给前端项目整理一个可重复执行的验证入口,写清启动命令、测试账号、关键操作和成功条件,让 Agent 运行完整用户流程,并保留失败步骤与截图。
- 给 Node 或 JS/TS 中的编解码、幂等处理等逻辑补充 fast-check 属性测试;做行为应保持一致的重写时,用相同输入比较新旧实现,并明确记录允许的差异。
- 把 AI 审查结果绑定到具体 commit,先执行测试、构建和 linter;审查规则从基础分支读取,新门禁先用
observe检查误报。 - 从已有事故中提炼少量能由 diff 触发的检查,规定连续修复失败后的人工接手机制,并定期删除失效规则,避免验证流程越积越慢。