8.0
热点
AI SCORE
编程提效2026-11-18 04:07
给 AI 生成的修复加一道 PR 证据门槛
dev.to · AI#代码审查#自动化测试#编程代理
Editor brief · 编辑速览
作者用确定性的 Python 检查在人工审查前核验 Amazon Nova Pro 生成的修复,并把缺少证据的原因直接写回 PR。文章聚焦 CI 通过后仍可能存在的问题,例如修错目标、削弱测试覆盖或引入回归。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
Sarvar Nadaf 给 Amazon Nova Pro 生成的修复加了一道 PR 检查。人工审查前,Python 脚本会比较修复前后的测试结果和覆盖率,并把拒绝原因写回 GitHub PR。它要回答一个普通 CI 绿灯回答不了的问题:这次改动有没有证据表明,它修好了 issue 里报告的那个 bug?
目前能确认什么
这道门槛作为 GitHub Actions 的必需状态检查运行。脚本在基线和 PR 代码上分别跑测试。如果原本通过的测试现在失败,或者有测试被删除,就拒绝。行覆盖率下降、改动超出 issue 的范围时,门槛会标记这些问题。检查被拒绝时,PR 无法合并,除非人工覆盖结果,或代理提交新改动并通过检查。
证明修复最直接的办法,是让同一个复现测试在旧代码上失败、在新代码上通过。 两边都通过,说明这个测试没复现原问题。两边都失败,说明它还没证明修复生效。整个判断由脚本执行,无需再找一个模型给修复打分。
我的判断
对维护仓库的程序员来说,这套做法最实用的地方,是把「这个 bug 怎么复现」提前到审查之前。审查者可以直接看失败用例和前后结果,把精力留给测试断言是否对准了 issue,以及改动有没有影响测试未覆盖的路径。
节选里有个会直接影响合并规则的细节。文章说缺少证据就拒绝,但简化代码在找不到 issue 对应测试时会跳过这一步,后续检查通过就可能放行。还要等完整实现确认,issue 和测试怎么关联,以及覆盖率下降、越界改动是否只提示,还是也会阻止合并。