基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
9.0
重磅
AI SCORE
编程提效2026-11-17 16:19

Claude Code 团队如何让智能体自证代码可用

dev.to · AI#Claude#Agent#代码验证
Editor brief · 编辑速览

Claude Code 团队称,约九成代码由 Claude 编写和审查,扩大任务委派规模的关键是测试、基准和端到端运行组成的验证闭环。内部结构化文件生成测试中,独立评分器按标准验收使任务成功率最多提升约 10 个百分点,难题收益更明显。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Claude Code 团队约 90% 的代码由 Claude 编写和审查,但这篇文章真正讨论的,是团队如何判断这些改动确实能用。它的结论很直接:要把更多任务交给 Agent,先得让验证结果可信,否则并行开得越多,人工验收越容易堵住。

这篇 dev.to 文章转述了 Addy Osmani 于 2026 年 11 月 16 日发表在 Anthropic Claude.dev 的文章。对程序员最有用的部分,是它把测试、审查规则、失败升级和历史事故串成了一套工作流程,也交代了这套流程如何避免自己骗自己。

为什么验证比继续打磨提示词更关键

作者引用了一项结构化文件生成内部测试:让独立评分器按评价标准检查 Claude 的产出,相比普通提示词循环,任务成功率最多提高 10 个百分点,最难的问题收益最大。

这个结果支持「独立检查有价值」,但范围要看清:它来自结构化文件生成任务,不能直接推导成所有编程任务都能提升 10 个百分点。原文也没有给出样本量、完整评分标准和成本对照。

验证能扩大委托规模,靠的是把人工判断转成可重复执行的软件。测试、基准和端到端运行脚本,过去需要人投入时间编写;现在可以让 Agent 协助生成。生成过程仍有成本,但脚本确定下来以后,重复运行主要消耗计算资源,不必每次都让模型重新推理。

决定你能同时委托多少任务的,是你能多快拿到可信的完成证据。

验证结果还要改变后续行为。例如,检查反复发现日志包含用户数据,团队就补充 hook 或 CLAUDE.md 规则。否则 Agent 只是不断修同一类错误,验证没有形成积累。

文章称,没有这层机制,人通常只能照看一两个 Claude;有了它,可以并行运行几十甚至上百个。这是作者对工作方式的判断,原文没有提供对应的人效对照实验。

哪些测试最能发现 Agent 的盲区

文章把端到端测试(E2E)放在优先位置,因为它直接检查用户流程:加入购物车、结账、进入确认页。单元测试全绿,仍可能交付一个无法完成购买的页面;E2E 则把这些零件连起来验证。

失败证据也更具体。原文用「30 秒后超时」举例,对比 E2E 提供的步骤轨迹、截图和故障描述。不过,这取决于测试工具和诊断配置,不能理解为 E2E 天然就有完整证据。作者也承认,单元测试通常更快、更稳定。

属性测试适合寻找人和 Agent 都没想到的输入。它先声明必须成立的性质,例如编码再解码应还原原值、账户余额不能为负、重复执行应保持幂等,再让库生成成千上万组输入尝试推翻它。JS/TS 可以用 fast-check,Python 用 Hypothesis,Rust 用 proptest。

这里的价值在于:输入由测试库生成,不完全依赖写实现的 Agent 自己挑例子。但性质仍需人来判断是否正确,写错不变量,同样会得到错误的安全感。

差分测试则用于行为应当保持一致的迁移:旧系统和新系统接收相同输入,再比较输出。输入可以随机生成,也可以取生产流量样本;比较前需要消除空白等无关差异,并记录已经批准的行为变化。

三类测试各有用途。E2E 检查流程,属性测试寻找边界,差分测试守住迁移前后的行为。原文同时提醒:不稳定测试会让 Agent 学会反复重跑,慢测试会拖长反馈周期,较重的检查应安排在提交之前。

怎样把「跑过了」变成可以检查的证据

Claude Code 团队对验证的要求包括真正运行应用。Web 改动使用 Claude Chrome extension,移动端使用 iOS 或 Android MCP,桌面端使用 computer use,后端则运行本地服务。

启动应用、打开模拟器、执行验证的步骤,被写成名为 verify 的 skill,放在仓库的 .claude/skills/ 下,并靠近相关代码维护。它相当于整个项目的冒烟验证入口,因此团队会持续优化它的速度和可靠性。

失败也有出口:Claude 先尝试修复,三轮之后检查仍然失败,就停止并交给人。检查规则由代码负责人编写和调整,目标是识别负责人真正会提出的问题;需要叫来审查者时,还必须解释原因。

他们还维护了一份 39 项可靠性清单。每项都有从 diff 可识别的触发条件、检查内容,以及对应事故或 PR。Claude 通常只执行命中的 3 到 10 项。

例如,--resume 会加载旧会话记录。只要改动涉及会话存储或消息类型,就应检查旧记录缺少新增字段时是否仍能安全加载。这样,过去踩过的坑就能在相关改动出现时被重新唤起。

审查方面,团队更倾向于调好主要审查者,而非追加第二个更贵的审查者。REVIEW.md 记录关注点,多轮审查沿用前轮上下文和历史失败信息。至于「更便宜、发现更多」,原文没有给出完整对照数据,应视为团队经验。

验证规则为什么不能跟着 PR 一起改

如果一个改动能修改裁判自己的规则,通过检查就不足以证明它可靠。

因此,Code Review 从基础分支或默认分支读取 REVIEW.md,不读取 PR 中修改后的版本。审查结果还必须绑定具体提交,旧 commit 通过审查,不能覆盖后来新增的代码。

便宜的检查先跑。Claude 在开 PR 前执行测试、构建和 linter,减少共享 CI 与审查资源的浪费。

新增门禁先观察,再决定是否阻断。每个提交都会记录验证方式,未验证也明确记为 none。提交门禁检查会话是否执行过 /code-review 或 /verify,并提供 off、observe、enforce 三种模式。observe 只记录本来会阻止哪些提交,方便先排查误报。

这里留了逃生口:提交消息可以解释为什么没有验证;同一会话被阻止两次后,下一次提交会放行。因此,「每次改动都验证」不能理解为绝无例外的硬保证。

团队也评估审查器本身。他们用历史事故和回滚重建当时的仓库,每个案例配一句话的缺陷答案,只给准确指出该缺陷的发现计分;同时用规模相近、合并后稳定的改动作对照,检查是否过度报错。

调优集与固定测试集分开,召回率分别在原始发现、验证后和最终审查三个阶段测量,避免系统已经找到问题,却在后续处理中丢掉。发现还分为 Important、Nit、Pre-existing,区分重要问题、细节和既有缺陷。

漏检如何进入规则,也有约束。审查评论或回滚中提取的模式,至少要出现在两个 PR,且能从 diff 识别,再由三个 Agent 尝试反驳,最后经人工批准。另一条路径是让三个缺陷查找 Agent 重放事故 PR,至少两个找到问题,才把它视为可检测的缺陷;小 diff 漏掉这类问题,就值得补进 REVIEW.md。

我的判断

我赞同把「定义完成条件、检查证据」放到 AI 编程流程的中心。对前端和全栈团队,这比只看生成速度更接近交付质量。尤其是绑定提交、隔离审查规则、用稳定改动检查误报,这些做法能直接减少验证流程中的自欺。

但原文是一套成熟团队的实践,维护成本不能忽略。可靠的运行环境、历史事故样本、代码负责人和持续调优,都需要投入。约 90% 的代码由 Claude 编写和审查,也不等于交付效率提高了 90%,更不能据此判断人工投入已经很少。

与常见的「单元测试加人工看 diff」相比,这套方案补足了真实运行和长期规则积累;它没有证明所有项目都该优先扩充 E2E,也没有证明单个审查者在所有模型、预算和代码规模下都更好。

还有一条需要谨慎借鉴:作者不允许 Agent 跳过不稳定测试、加 sleep 或重试到通过;找不到根因时,可以删除测试并记录原因。前半段值得采用,删除则需要确认覆盖是否丢失。记录原因不能替代对业务风险的判断。

「漏过一次就写成规则」有价值,但不能承诺以后永不再漏。团队定期清理测试、验证步骤和 .md 规则,恰好说明规则过多也会损害执行效果。

能拿来做什么

  • 给前端项目整理一个可重复执行的验证入口,写清启动命令、测试账号、关键操作和成功条件,让 Agent 运行完整用户流程,并保留失败步骤与截图。
  • 给 Node 或 JS/TS 中的编解码、幂等处理等逻辑补充 fast-check 属性测试;做行为应保持一致的重写时,用相同输入比较新旧实现,并明确记录允许的差异。
  • 把 AI 审查结果绑定到具体 commit,先执行测试、构建和 linter;审查规则从基础分支读取,新门禁先用 observe 检查误报。
  • 从已有事故中提炼少量能由 diff 触发的检查,规定连续修复失败后的人工接手机制,并定期删除失效规则,避免验证流程越积越慢。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
为 n8n 智能体建立上线前回归测试
下一篇
AI 编程提速后,审查成本追上生成成本

资讯速览

dev.to · AI · 2026-11-17 16:19

AI 评分 9.0 / 10

相关标签

#Claude#Agent#代码验证

继续阅读

  • 本地 Agent 选模型,先看吞吐与并发
  • 为 n8n 智能体建立上线前回归测试
  • AI 编程提速后,审查成本追上生成成本
  • 用真实项目信息验证 PLC 代理调用
  • 拆开事实提取、判断与写作三步