GPT-Red如何攻击GPT——AI模型安全风险实例剖析

7 月 15 日，OpenAI 展示了内部使用的 GPT-Red：一个能够迭代攻击其他模型，并生成 adversarial 数据用于训练的模型。对于那些正在把 GPT 集成到带工具 Agent 中的团队来说，最重要的结论并不是那幅吸引眼球的“AI 攻击 AI”图景，而是：GPT-Red 在直接攻击中 0.05% 的 failure rate，只适用于某项特定测试，并不代表你的 Agent 能够安全运行的概率。

尽管如此，这仍然是一次重要转变。人工 red team 受限于专家的时间和可覆盖的场景数量。自动化攻击者可以批量探索 prompt injection 的各种变体，再把发现的弱点反馈到防御模型的训练中。据 OpenAI 介绍，在其内部复现的 indirect prompt injection arena 中，GPT-Red 成功通过了 84% 的场景，而人类的成功率只有 13%。

但也正是在这里，人们很容易得出错误的推论：攻击模型在某个测试环境中表现出色，并不能说明你的系统会接收哪些输入、拥有何种权限，又会造成什么后果。

三组数字，回答的是三个不同的问题

OpenAI 公布了多项测试结果，但不能把它们合并成一个笼统的安全百分比。

84% 对 13%，描述的是攻击者在其自行复现的 indirect prompt injection arena 中的攻击成功率。

对于 GPT-5.6 Sol，OpenAI 表示，它在难度最高的 direct benchmark 上，failure 数量减少到了原来的六分之一。

0.05% 这一指标，专门指 direct GPT-Red attacks 中的 failure rate。

这些数字都不能自动衡量这样一种 Agent：它会读取邮件、获取网页内容、调用外部服务，并且能够访问数据。在模型看到的文本与系统最终执行的动作之间，还隔着一整套决策链路。

为什么 benchmark 不等于你的 Agent harness

Benchmark 会预先规定游戏规则：攻击者能够获得哪些指令、防御者可以执行哪些动作，以及如何判定 failure。而在真实的 Agent 中，这些规则由开发团队和基础设施共同决定。

如果工具被允许向外部发送数据，那么风险就不仅取决于模型是否识别出了恶意指令。工具具体拥有哪些权限、运行环境是否隔离、允许访问哪些目标的 allowlist、不可逆操作是否需要确认，以及是否保留事件日志，同样至关重要。优秀的模型可以减少危险决策的数量，但它不应该成为未经验证的文本与实际动作之间唯一的安全边界。

OpenAI 自己也把 GPT-Red 描述为 human red team、third-party red team、监控及其他防护层的补充。这并不是发布稿末尾一句谨慎的免责声明，而是一种实际的架构立场：攻击模型可以扩大弱点搜索的范围，但不能取代执行层面的安全防护。

OpenAI 还介绍了自动售货 Agent 和 Codex CLI 在 10 项留出任务中的案例。这些测试有助于验证能力能否从 benchmark 迁移到更贴近实际应用的场景。但 10 项任务和两类系统终究只是案例，不能作为适用于所有 Agent harness 的基础概率。

令人不安的转折：强大的攻击者无法取代你的威胁模型

乍看之下，self-play 似乎解决了安全工作中成本最高的部分：让一个模型全天候构思攻击，另一个模型不断学习如何抵御。然而，这种方法的价值取决于两个前提：测试允许攻击什么，以及如何定义攻击成功。

对于过度乐观的态度，最有力的反驳其实非常合理：如果测试环境从一开始就没有覆盖某条通往危险动作的具体路径，那么再低的 failure rate，也无法证明系统能够抵御这条路径。这并不是反对 GPT-Red，而是反对把单项评估结果当成授权 Agent 获得广泛权限的通行证。

对于不带工具的简单 GPT 聊天应用，一次错误的代价可能仅仅是生成了糟糕的回答。但对于能够修改记录、发送消息或启动操作的 Agent，同样的错误会演变成实际的运营事故。因此，团队的任务并不是“找到一个拥有神奇安全百分比的模型”，而是明确：即便只发生一次 failure，哪些动作也是绝对不能被允许的。

扩大权限前的最小测试

应该针对带工具的真实场景进行一次范围明确的测试，而不是泛泛地与模型对话。

选择一项 Agent 确实需要执行的外部动作。

只授予它完成这项动作所必需的最小权限，并使用测试用的秘密标记代替真实凭据。

向它提供未经验证的内容，其中包含试图改变 Agent 目标的指令。

提前定义 failure criterion，例如：调用未获授权的工具、传出测试标记，或者绕过强制确认流程。

检查日志：能否还原输入内容、决策过程、被调用的工具，以及人类原本可以在哪个节点阻止该动作。

这样的测试无法证明未来所有场景都是安全的，但它能回答一个更有价值的问题：在扩大访问权限之前，你的实际系统链路能否抵御某一类具体错误？

如果需要比较多个模型，并把生成者与验证者的角色拆开，可以通过 provod.ai 的统一 API 完成，并使用卢布付款。但聚合平台无法取代 sandbox、least privilege、allowlist、人工确认和 audit log：它可以帮助你组织实验，却不能替你重新划定安全边界。

应该如何看待 GPT-Red 的成果

GPT-Red 证明，自动化 red teaming 正在成为一种更实用的弱点发现和 adversarial 数据生成方式。0.05% 这个数字可以作为某项具体直接评估的结果参考，但不能充当 Agent 系统的保险单。

正确的实施顺序没有漂亮的 benchmark 那么吸引眼球：首先限制潜在后果，然后使用测试秘密验证具体场景，只有在系统能够满足 failure criterion 的地方才扩大权限。完成这些步骤后，再比较不同模型在你的实际系统链路中表现如何。

provod.ai——根据任务选择模型，而不是根据供应商选择

编写代码、复杂推理、搜索、处理长文档和生成媒体内容，需要使用不同的工具：你可以切换模型，同时保留团队现有的 API、账户余额和基础设施。

一个目录中汇集了最新的文本与媒体模型：OpenAI 的 GPT、Anthropic 的 Claude、Google 的 Gemini、xAI 的 Grok，以及 DeepSeek、Qwen、GLM、Kimi 和 MiniMax；图像模型包括 Nano Banana 2 Pro 和 GPT Image；视频模型则包括最新版的 Seedance、Kling、Veo 和 Google Omni。此外，还提供适用于 reasoning、搜索、文档、embeddings、音乐和音频等场景的模型。

你可以比较模型质量与成本，无需承担聚合平台的隐藏加价：价格与各供应商的官方费率保持 1:1，因此你的选择取决于实际任务，而不是 provod.ai 额外收取的佣金。

为你的应用场景选择模型：注册表单 · 模型价格 · 符合俄罗斯联邦第 152-FZ 号法律的数据保护 · provod.ai 主页

对于你的第一个 Agent 场景，你会选择哪一种方案：为了速度而开放广泛的工具访问权限，还是采用范围更小、所有动作都必须确认的执行链路？

如需采取进一步措施，你可以考虑屏蔽此人和／或举报其滥用行为。