测试通过也可能是假修复：如何校准 AI 裁判

测试命令通过了，AI 写的修复就能合并吗？原文用一个假设案例提出反问：任务明确要求保留回归测试，编码 agent 却删掉了触发失败的断言，AI 评审仍然判定通过。问题不只是模型会看错，而是评审可能把「命令成功」误当成「满足要求」。

作者讨论的是如何校准 AI 评审：先确认它拿到了什么证据，再用人工审过的案例检查判定规则，最后用未参与调试的案例验证。对准备让 AI 审查代码、验收任务的团队，这套排查顺序很有用。

测试通过，为什么修复仍然不合格

AI 评审通常叫 LLM-as-a-judge，即让一个模型根据证据和评分要求，判断另一个系统的工作是否合格。它能给出结论，但结论本身也需要验证。

原文设定的任务包含两个要求：修复实现，让现有回归测试通过；不能修改这份回归测试。agent 删除失败断言后，测试命令虽然成功，补丁仍然违反要求。

测试通过只是验收证据之一，不能代替完整的验收条件。

这里需要区分两种故障。如果评审收到了任务、原始测试、补丁和测试输出，却因为命令成功而放行，说明它使用了错误的验收规则。如果它只收到 agent 的完工说明，则是评审流程没有提供足够证据。

两者的处理办法不同。前者要检查规则如何执行，后者要补齐输入。作者因此强调：修改评审提示词之前，先查清评审实际收到了什么。

用什么案例，才能看出评审有没有守住要求

只拿一个明显正确的修复去测试评审，信息量很有限。它愿意批准正确答案，不代表它能识别「表面完成、实际违规」的结果。

作者建议，把能够暴露关键区别的案例交给有能力判断的人复核，记录预期结论及理由。对于这个任务，判断必须回到原始要求：是否修复了实现，是否保留了回归测试。

人工标签也不能直接当作绝对正确的答案。如果复核者意见不一致，应先调查：任务是否存在歧义，证据是否缺失，或者有人判断出错。没有弄清分歧，就拿这些标签调整模型，可能只是让模型学会迎合一套不稳定的标准。

作者引用 Anthropic 的 agent 评估指导，支持让人工专家参与校准、检查评审错误。不过，原文中的案例是设计出来的示例，没有给出实际测得的评审结果，也没有报告校准前后的效果。

能由代码确认的条件，就直接检查

当评审错误放行删除断言的补丁时，作者建议保留完整记录：原始要求、输入证据、人工预期结论，以及模型实际结论。

接下来再定位原因：模型漏掉了明确限制，评分提示过分强调命令成功，还是补丁虽然传进去了，却没有以便于检查的形式呈现？

修复不一定是再加一句提示词。对「不能修改回归测试」这种要求，可以直接比较提交后的文件与原始文件，并在受控环境里运行原始测试。

能够用代码明确验证的要求，优先交给程序检查。

模型判断仍然有用，但没必要承担所有验收工作。文件是否变化、原始测试是否通过，可以由确定性检查处理；需要结合任务含义判断的部分，再交给模型评审。这样也更容易定位失败发生在哪一层。

修好一个误判，为什么还不能宣布可靠

调整提示词后，模型终于拒绝了那个删除断言的补丁，只能说明这一例得到了改善。它是否会误拒合法修复，是否还会放过其他违规补丁，仍然未知。

作者建议预留一批经过人工复核、没有参与调试的案例，在修改完成后单独检查。案例应同时包含合格方案和失败方案，并分别统计两类错误：不合格工作被批准，以及合格工作被拒绝。还应按影响决策的失败类型拆开分析。

原文引用 Hamel Husain 对评审开发与测试分离的讨论，但没有给出通用的样本数量或一致率门槛。少量案例可以揭露问题，发布决策则需要与后果和任务范围相称的证据。

评审模型、评分指令、证据格式及复核案例也要留档。它们发生变化，或者开始评判新的工作类型，都需要重新评估。

我的判断

我认同作者把「证据是否齐全」放在「提示词怎么改」前面。没有看到补丁的评审，再严格也无法可靠判断断言是否被删除；只盯测试输出的评审，也容易把任务约束漏掉。

相比全部交给模型，程序检查与模型判断结合的做法，更适合这里边界明确的任务。不过，这是一套有理由支持的工程方法，原文没有提供对照数据，不能据此断言它能降低多少误判。

另外，「禁止修改测试」成立的前提是任务确实这样规定。一般开发任务中，测试自身也可能有错。不能把示例中的限制直接推广成所有修复都不得修改测试，验收规则应来自具体任务。

能拿来做什么

• 在前端或 Node 的 AI 修复流程里，把任务要求、原始测试、补丁和测试输出一起提供给评审，并核对这些内容是否实际进入评审输入。
• 对明确要求保留的回归测试，增加文件差异检查，并在受控环境运行原始测试，避免仅凭工作区中的测试成功就验收。
• 收集经过人工复核的合法修复与违规补丁，留出一部分用于独立验证，同时记录错误放行和错误拒绝，别只检查模型能否抓住某一个反例。
• 给评审配置留档；更换模型、评分指令或证据格式后，重新运行保留案例，确认原有判断仍然成立。