用确定性检查核验 AI 修复声明
开源项目 AI Fix Verifier 将智能体的修复声明与实际提交、测试结果进行核对,在人工评审前拒绝缺乏证据或引入回归的提交。作者介绍了结合 Kiro Crew、Amazon Nova Pro 与确定性 Python 检查的构建过程。
AI 深度解读
AI 提交了修复,测试也全绿,就能放心合并吗?作者做的 AI Fix Verifier 想补上这一步:检查提交实际改了什么,并要求修复测试在旧代码上失败、在新代码上通过,最后把判定作为 PR 状态检查返回。
它最有价值的主张,是让可执行证据决定修复是否成立。不过,提供的原文只有产品简介,没有实现代码、实验结果或接入步骤。下面能讨论的是验证思路,工具实际能拦住多少问题,还缺证据。
测试全绿,为什么还不足以证明修好了
作者指出,多数 Agent 工具停在「测试通过」,AI Fix Verifier 则继续追问:这次提交有没有证明问题得到修复?
两者的差别在于,测试通过可能有不同原因。代码确实修好了,是一种;测试被削弱,也是另一种。例如,原本检查具体返回值的断言变成只检查结果存在,测试依然可能通过,但验证力度已经下降。这是对原文所说「测试被削弱」的解释,并非作者展示过的案例。
因此,这道门禁声称会检查四件事:测试没有被削弱、函数没有被删除、没有出现回归,以及修复有对应测试作为证据。
测试全绿只描述当前结果,修复成立还需要证明测试能识别原来的错误。
为什么要让同一个测试先失败、再通过
原文最具体的要求,是修复测试必须在旧代码上失败,在新代码上通过。
旧代码上失败,说明这个测试能够暴露修复前的问题;新代码上通过,说明修改后的行为满足了测试要求。相比只运行修改后的测试,这多了一次关键核验:新增测试究竟有没有测到原来的缺陷?
但这种证据也有边界。测试可能因为环境、依赖或无关错误而失败,原文没有说明工具如何区分失败原因。即便前后结果符合要求,也只能支持测试覆盖范围内的修复,不能据此保证所有行为都正确。
「没有回归」同样需要限定范围。作者没有交代它依靠哪些测试、如何执行,也没有说明如何判断测试是否被削弱、如何识别函数删除。当前材料不足以评估这些检查的准确性。
为什么让 Python 判定,而不是让模型打分
作者强调,最终结论由确定性的 Python 逻辑给出,不让一个模型给另一个模型评分。工具读取提交内容,而不是接受 Agent 的「已修复」声明,并将结果直接发布为 PR 状态检查。
这个分工有道理。对能够明确表达的规则,程序检查更容易留下可复核的证据,也方便接入现有合并流程。原文还标注了 Amazon Nova Pro、Kiro Crew 和 MIT 许可证,但没有解释前两者在流程中分别承担什么角色。
确定性也不等于判定一定正确。规则如果过于简单,仍然可能误报或漏报。比如「没有函数被删除」可以作为检查项,但合理重构也可能删除函数;原文没有说明它是否允许例外。
我的判断
我认可「要求修复证据」这个方向,尤其是旧代码失败、新代码通过的要求。它比仅凭 Agent 自述或一次绿灯,更接近我们真正关心的问题。
但这份简介还不足以证明 AI Fix Verifier 的效果。标题声称 AI Agent 每月创建 1700 万个 PR,正文没有提供来源或统计口径;工具本身也没有误报率、漏报率、耗时或对照数据。不能把标题里的规模,当作方案有效性的依据。
和常见 CI 相比,它提出了更明确的修复验证要求;和模型评审相比,它选择用程序执行判定。至于哪种组合更有效,作者没有给对照数据,目前仍属于设计主张,不能替它背书。
能拿来做什么
- 给 AI 修复任务加上明确验收条件:提交能复现缺陷的测试,并提供它在修复前失败、修复后通过的结果。
- 审查前端或 Node 的 AI 修复 PR 时,把测试文件的变化纳入重点,检查断言是否被删除、范围是否被缩小。
- 在现有 CI 中尝试加入修复前后验证时,保留失败日志并核对失败原因,避免把环境异常当成缺陷复现。
- 评估这款工具时,先索取实现、接入方式和实际判定案例。当前原文还不能作为可直接照做的部署指南。