Agent 安全测试为何漏掉工具泄密

开源 prompt injection 检测器，能识别真实场景中针对 AI Agent 的攻击吗？

我用 629 次真实的 AgentDojo 注入攻击，测试了 10 个开源检测器。每次攻击都藏在普通的工具输出里——这正是 Agent 防火墙实际看到的输入形式。没有一个检测器能在识别大多数攻击的同时，避免拦截正常流量。

🥇 开箱即用时，效果最均衡的检测器：检出率 51%，误报率 2% 🔴 Meta 的 Prompt Guard 2：检出率 1% 🚫 有两个检测器连 98% 的安全工具输出也会标记为攻击 🎚️ 用预留的正常流量重新校准各个检测器的阈值后，排名完全逆转：Prompt Guard 2 从最差变成最好（在未见过的各个领域中，检出率达到 97–100%，这些领域中的误报率约为 5%），而那些“什么都能抓到”的检测器，在表现最差的交叉验证折中，检出率跌至约 0%。

最关键的发现并不是“模型看不出藏在内容里的注入攻击”，而是随产品提供的默认设置，没有针对混合内容校准好。Prompt Guard 2 在默认阈值 0.5 下，只能检出 1% 的攻击……