漏洞全检出为何仍不足以证明审查工具可靠
作者回退 Django、axios、lodash 等项目的真实漏洞修复,剔除可能泄露答案的文档和测试,再让安全审查 Agent 检查。工具命中全部十个案例,但作者强调,这种小样本成绩不足以证明真实代码审查效果。
AI 深度解读
AI 代码审查工具在已知漏洞测试里拿到 10/10,值得接进团队流程吗?RevHive 作者的答案是:先别看这个分数。他们把真实漏洞修复倒放,让工具找问题,全部命中;转去审普通 PR,却发现大约三分之一会收到评论,其中多数没有实际价值。
这篇最有用的地方,是把「能找到漏洞」和「能节省审查时间」分开了。对准备引入 AI Review 的团队,后一个问题更接近日常成本。
10/10 是怎样测出来的
作者选了 Django、axios、lodash 等常用项目中修复真实 CVE 的 10 个提交,再撤销这些修复,让漏洞重新出现在工作区。CVE 是公开披露漏洞的编号体系,这批样本至少对应真实发生过的安全问题。
关键操作是 git revert --no-commit:撤销修复但不生成提交,让待审查的 diff 看起来像有人刚引入了漏洞。随后,剥离补丁里的文档和测试改动,避免工具直接读到答案。
这一步确实暴露过问题。首次测试有 2 个案例残留发布说明,审查器原样引用了 CVE 标题。作者作废并重跑了这两例。模型读懂了漏洞说明,不等于它从代码里推导出了漏洞。
正式测试在 2026-11-20 进行:以 HEAD~1 为审查基准,只启用安全 agent,不提供仓库上下文、PR 描述或提示,使用一个小而便宜的模型,每个案例只跑 1 次。原文没有公开具体模型名。
命中标准也比较宽:指出存在漏洞的文件,并描述正确的漏洞类别,就算发现。它不要求精确定位到某一行,也不要求生成修复方案。
因此,10/10 证明的是:在这组条件下,工具能认出这些漏洞。它还没有回答接入日常开发后会怎样。
为什么满分仍然不能说明审查质量
第一处偏差来自题目的构造。
撤销安全修复,往往会删掉长度检查、校验调用或清理输入的逻辑。diff 直接展示「这里少了一道防线」,线索非常明显。真实开发中的漏洞,却可能藏在晚上 11 点写下的 400 行功能代码中,改动主题甚至与安全无关。两者的检测难度不同。
第二处偏差,是只测漏检,没有测误报。
这里涉及两个指标:召回率(recall)关心已有问题找到了多少,精确率(precision)关心报出来的问题有多少是真的。只有漏洞样本,无法知道工具面对正常代码时会不会频繁误判。
找全测试里的漏洞,不等于能减少团队的审查负担。
第三处问题是样本太少。作者用「增加两个案例,标题数字就可能移动二十个百分点」强调结果不稳定,但没有给出具体计算方式。更稳妥的判断是:10 例不足以支撑强泛化结论。原文说这种规模没有置信区间,也说得过满;小样本仍可计算区间,只是区间可能很宽,样本选择偏差也不会因此消失。
第四处问题更容易影响工作流:严重性标签不可靠。
一个案例涉及向只有查看权限的管理员泄露密码哈希,模型正确描述了问题,却标成 low。Django 当时通过安全版本处理了它。若团队只看 critical 和 high,这条发现虽然在统计上算命中,实际流程里仍会被忽略。
真正改变产品的,是普通 PR 里的噪声
作者随后让同一个审查器检查普通 PR。大约三分之一收到语气自信、听起来合理的评论。有些指出了真问题,多数却是把风格偏好当缺陷,或虚构了周围代码早已处理的失败场景。
每条评论都要占用人几分钟:读懂、检查上下文、确认是否成立。工具原本要节省的,恰好就是这段时间。
他们因此调整了三件事。
首先,每条发现必须绑定代码行和失败路径。模型要说明什么输入触发问题,以及接下来会造成什么后果;讲不清就不输出。作者称,发现数量因此减少了一半以上,剩下的也更容易读懂。这里减少的是发现总量,原文没有给出独立核验后的误报降幅。
其次,把「不评论」设为明确、低成本的正常结果。多数 diff 不需要安全提醒,审查器无需靠输出内容证明自己干过活。
最后,把严重性降为提示。优先读发现正文,标签只辅助排序。
作者承认,召回率下降了,但审查时间下降得更多。不过,原文没有提供调整前后的完整数据,无法判断少报的具体是什么问题,也无法计算节省了多少时间。
他们公开了 shell 脚本形式的测试框架:获取修复提交、撤销修复、剥离文档和测试、运行 CLI,再对照修复涉及的文件检查结果。下一版计划补上 20 个普通 PR 和误报数量,目前尚未完成。
我的判断
我认同作者把「什么时候保持安静」作为产品设计问题。AI Review 的输出会进入人的注意力队列,评论数量增加,未必代表审查收益增加。要求提供触发输入和失败后果,比单纯要求模型「认真审查」更容易核验。
但「必须解释失败路径」仍是一道输出门槛,不能保证解释真实成立。模型也可能编出完整、流畅的错误推理。跨模块问题还可能依赖当前 diff 之外的约束,需要人继续查证。
与只展示成功截图相比,公开方法、原始运行结果和限制,更方便别人复现和挑错。不过,RevHive 同时也是作者自己的产品,可作为 GitHub App 使用,也可通过 CLI 在自有网络内配合自己的模型 key 运行。这篇属于产品团队的自测复盘,没有第三方评估或其他工具的对照数据。
「少于 30 例就是故事」也是作者的经验提醒,30 不是统计有效性的分界线。样本是否接近日常改动、如何确认误报、是否重复运行,同样决定评估质量。
目前的证据支持「它能发现这 10 个已知案例」,还支撑不了「它适合一般团队的日常 PR」。作者自己也要求读者暂缓下后一个结论。
能拿来做什么
- 评估 AI 审查器时,同时准备真实缺陷样本和普通 PR。前端或 Node 项目可以从已合并改动中抽样,分别记录命中、误报和人工核查耗时,别只统计找到了多少问题。
- 在日常 AI 编程审查中,要求每条发现写出代码位置、触发输入和具体后果。再检查附近代码是否已经处理该路径,减少被貌似合理的评论带偏。
- 复现漏洞评估时,检查发布说明、测试、提交信息等材料是否泄露答案。作者实际明确剥离了文档和测试,评估建议还要求检查提交信息。
- 把严重性标签用于排序,保留对发现正文的人工判断。如果要按标签过滤通知,先检查低等级结果里是否混入了团队真正关心的问题。