AI 安全审计如何交代证据与覆盖率
作者介绍跨 Claude Code、Codex 和 Antigravity 使用的开源安全与隐私审查 Skills,将发现区分为动态复现、静态确认、待验证假设和不可验证。审查覆盖率由 CSV 与脚本计算,避免把读过代码包装成测试通过。
原文暂未完整获取,基于公开信息的快读
作者把 AI 安全审计中一个常见问题摆上了台面:报告写着「已验证」,却看不出到底检查了什么。他为此制作了两个开源 Skills,并在 Claude Code、Codex 和 Antigravity 上测试。比排名更有参考价值的,是如何让审计结论交代证据和检查范围。
目前能确认什么
appsec-sentinel 面向应用与云安全,gdpr-sentinel 检查代码如何处理个人数据,后者明确不宣称合规。两者均采用 Apache-2.0 许可证。
每条发现分为四种状态:动态复现、代码或配置静态确认、待验证假设、不可验证。静态分析能提供代码层面的证据,动态复现则需要实际执行并观察结果。
读过代码,不能记成测试通过。
覆盖率由 CSV 和脚本计算,按端点、角色等维度列出分子与分母。交付脚本还会检查预扫描发现的危险代码类别是否逐项给出结论;高危和严重发现要求独立复核,未执行就明确标注。
在 OWASP Juice Shop 的 32 个已标注漏洞上,同一提示、快速模式、仅静态分析的结果是:Claude 23/32、Codex 18/32、Antigravity 6/32。只有引用对应文件和行号才计入命中。
我的判断
这组数字还不足以给三个工具排出通用的安全审计名次。节选没有完整交代各轮模型版本,而且最佳轮次中 Claude 漏掉的 9 个漏洞,另外两者也全部漏掉,涉及可猜测的安全答案、隐藏前端路由和业务逻辑。
漏洞命中率,也不等于项目审计覆盖率。
程序员可以借鉴的是报告验收方式:每个结论绑定证据状态,每类检查有明确分母,未检查项单独列出。尤其是权限和业务逻辑,不能因为注入、XSS 等问题被发现,就默认也已检查充分。
稳定性仍未解决:作者报告,同一真实应用两轮 GDPR 审查的问题一致率约为 60–69%。固定检查矩阵有所改善,但自由描述部分仍有噪声,不能把一次报告当成稳定结论。