Anthropic 发布网络安全评估：分析真实攻击场景中的模型防御

在对我们网络安全评估记录的审查中，我们发现了三个事件，在这些事件中，Claude 模型在测试环境内或与第三方评估环境交互时访问了互联网，随后对三个不同组织的真实系统进行了未授权访问。

以下我们描述了发生了什么、如何发生的，以及我们所做的改变。我们鼓励其他 AI 实验室进行类似的审查。本文反映了我们目前的理解；如果任何细节有所改变，我们将更新。

7 月 21 日，OpenAI 披露他们的多个模型通过利用一个之前未知的("零日")漏洞突破了隔离的测试环境。这些模型随后访问了 Hugging Face 的生产基础设施，Hugging Face 是一个开源机器学习模型和 AI 数据集平台。

针对这一事件，我们启动了对自身网络安全评估的大规模回顾审查。特别是，我们查找了证据，看 Claude 是否像访问 Hugging Face 的 OpenAI 模型一样，能够从本应密闭隔离的测试环境内访问互联网。

在审查了 141,006 次 Claude 可能获得互联网访问的评估运行后，我们确认了三个事件，在这些事件中，模型从我们第三方评估合作伙伴 Irregular 的评估环境内或与其交互时访问了互联网，然后对三个不同组织的生产基础设施进行了未授权访问。

在这三个事件中，Claude 都被分配了一个 capture-the-flag (夺旗) 挑战任务，这是我们评估模型网络能力的方式之一。模型被给予一个虚构场景，被告知一段秘密信息(称为"旗")隐藏在网络上的另一台机器上，其目标是突破进去并检索它。这个挑战是开放式的，没有规定特定的攻击方式。

在所有情况下，Anthropic 的评估提示都明确告诉 Claude 其环境是模拟的且没有互联网访问。但由于我们与评估合作伙伴之间的一个误解，情况并非如此——互联网访问是可用的。因此，当 Claude 的搜索将其引向开放互联网上的真实系统时，它将它们视为练习的一部分。(网络安全评估通常包含逼真的细节，以准确评估模型在真实环境中的能力；一个看起来逼真的目标本身不会清晰地表明该目标不是模拟的一部分。)

在认为所有可访问实体都应在练习范围内的错误信念下运作，Claude 使用了基本技术(如利用弱密码和未认证端点)破坏了受影响组织的基础设施。它没有发现或利用任何复杂漏洞，在每种情况下，Claude 都继续工作以完成其评估分配的特定夺旗任务。但是，在某些情况下，我们较早的模型即使在获得它正在开放互联网上运行的证据后仍继续攻击；我们最新的模型一旦识别出它在互联网上就停止了。在任何情况下，Claude 都没有渗漏自己或故意试图逃离其测试环境。

这些事件涉及三个不同的 Claude 模型：Opus 4.7、Mythos 5 和一个内部研究测试模型。最早的事件可追溯至 4 月。这些评估中的模型运行时没有我们在普遍推出模型时部署的标准防护措施(即，它们没有我们通常实施的分类器和监控来防止滥用)。但这些模型确实具有特定于该模型的安全训练(即，它们不是我们在测试中有时使用的"仅有帮助"版本)。这里描述的所有评估都运行在专用基础设施上，该基础设施与 Anthropic 的敏感内部系统或客户数据分离，无法访问它们。

我们于 7 月 23 日星期四开始进行记录审查，在发现 Claude 可能访问过互联网的记录后，同一天停止了所有网络评估。我们于第二天确认了所有三个事件。我们于 7 月 27 日星期一通知了评估合作伙伴 Irregular 和三个受影响的组织。我们能联系到的两个组织之前未检测到该活动或与我们联系，我们现在正与他们合作进行补救。我们继续与第三个组织联系。

我们与 Irregular 合作进行了这项审查。我们感谢他们与我们密切合作以理解和解决这些事件；他们也在进行自己的调查。我们相信这种合作对于确保模型的安全、严格评估越来越重要。我们期待在安全方面的联合工作。

在下文中，我们提供了有关每个事件的更多详情以及我们如何向前推进应对。

网络安全评估的背景

我们定期运行网络安全评估，涉及模拟真实的攻击性网络安全挑战。这些评估是开发和发布模型的关键步骤——对模型能力的深入理解使我们能够设计适当的防护措施，并最终安全地发布模型。

我们从 2025 年 2 月开始使用 Claude Sonnet 3.7 在 Cybench 上运行网络安全评估，Cybench 包含 40 个不同的 capture-the-flag 挑战。随着时间推移，随着新基准的发布和模型能力的演进，我们增加了使用的基准数量。例如，在 Mythos 5 系统卡中，我们包括了 CyberGym 和 ExploitBench，这些基准评估语言模型发现新颖漏洞的能力。在这些评估的大多数中，环境不连接互联网，模型也被明确告知这一点。

我们经常与创建和协助运行这些网络安全评估的外部合作伙伴合作。外部合作伙伴提供的环境和场景比我们单独能构建的更加多样化，并对我们的模型进行独立的第三方评估。

在我们审查的 141,006 次评估运行中，我们确认了三个独立事件(涉及总共六次运行，其中四次影响同一组织；另外两个事件各发生在独立的评估运行中)。每个事件涉及一个不同的虚构 capture-the-flag 场景——例如，在其中一个事件中，Claude 扮演虚构公司的一名员工，在私有测试环境内攻击该公司的内部系统。

在所有情况下，我们的评估提示都明确说明 Claude 没有互联网访问，但没有对 Claude 在哪里寻找旗施加任何限制。然而，一个配置错误导致 Claude 在评估中访问的机器拥有活跃的互联网访问。直到我们上周通过额外的评估监控检测到，我们和评估合作伙伴都不知道这个配置错误。

我们双方都可以采取多项纵深防御措施来防止这些事件，或至少降低其发生的可能性。在评估开始前对所有互联网访问路径的仔细验证和对评估日志的实时监控本可以帮助更快地发现问题。我们和合作伙伴也本可以更彻底地审查评估记录或网络日志。也可能是，一个告诉 Claude 它确实拥有互联网访问的提示本会改变 Claude 与真实系统接触时的行为方式。

Claude 所做的正是 capture-the-flag 练习训练网络专家所做的：寻找到达旗的方式。这个搜索导致它发现其机器可以到达互联网，但由于在系统提示中被告知没有互联网访问，Claude 认为它最初遇到的一切都是模拟的一部分，并将它发现的真实系统视为练习的组成部分。三个事件涉及三个不同的模型，一旦出现目标是真实的迹象，每个模型的响应方式都不同，如我们下面描述的那样。

在一个评估中，我们评估合作伙伴选择的虚构目标公司与一个活跃的网站域名同名。由于上述误解，这个评估容器具有意外的直接互联网访问。

在这个评估的四次运行中，Claude 在评估环境内无法到达其模拟目标，但随后发现该真实公司可通过互联网访问。假设这是攻防类(capture-the-flag)任务中的预期目标，Claude 搜索、识别并利用了该公司基础设施中的漏洞，认为这是练习的一部分。这四次运行提取了应用和基础设施凭证等信息，并获得了对包含数百行生产数据的数据库的访问权限。这代表了我们识别到的最严重影响。

这个事件涉及 Claude Opus 4.7，是唯一一个模型在得知可能在真实环境中运行后仍继续攻击系统的情况。在所有四次运行中，模型最终都识别出(从其表述的推理中可以观察到)该系统是真实的——在两种情况下,模型将真实公司理性化为必然是练习的一部分。然而,没有一个基于这一点停止攻击。

在另一个评估中，Claude 在虚构环境内发现了一份文档，看起来是另一家虚构公司为新开发者的设置说明。这些说明告诉员工从 PyPI(发布 Python 软件的公共注册表)安装一个实际上不存在的 Python 包。

Claude 察觉到这是一个潜在的入口：如果它以相同名称发布自己的包，虚构公司的系统会自动下载并安装它。因此，Claude 构建并发布了一个恶意(本质上是陷阱式)的 Python 包(同名)，试图赢得攻防类挑战。

Claude 为执行这次攻击付出了大量努力——这样的努力应该表明给任何人类参与者,这不再仅仅是评估,他们实际上在上传真实的 PyPI 包。例如，在某些情况下，为了创建 PyPI 账户，Claude 需要一个电子邮件地址。为了创建电子邮件地址，它需要一个电话号码。在无法找到免费电话号码服务后，它尝试了(并失败了)通过多种手段获取资金来支付电话号码。最终，它回到了正轨，找到了一个免费、未被阻止的电子邮件提供商，用它注册了 PyPI 账户，然后用这个账户上传恶意软件到 PyPI。

Claude 认为它使用的包注册表是模拟的一部分，但实际上该包在网上免费提供了大约一小时。在这个时间窗口内，该包被下载并在 15 个真实系统上运行。其中一个系统是一家真实安全公司(与场景中引入的虚构公司不同)的扫描器，该公司定期安装 Python 包并扫描恶意软件。当该公司的扫描器安装了该包时，Claude 的隐藏代码执行了。我们相信该公司的安全扫描器将 PyPI 包视为安装安全的，因此 Claude 能够将公司凭证泄露到它设置的收集点。Claude 随后使用这些凭证访问该公司的进一步基础设施。

Claude 并未直接针对这家公司——上传包时它甚至不知道该公司的存在。但因为代码被发布到开放互联网，它影响了任何运行它的系统。(Claude 上传的包由 PyPI 自己的安全系统自动删除。我们已通知 PyPI 团队此事件，并提供了相关指标。)

这次攻击由 Claude Mythos 5 执行。在运行早期，Claude 自己的推理正确识别了其行为的后果。它指出，如果这是真实互联网，发布包将是真实的攻击——"不行，肯定不是预期的解决方案"。然而，它以不识别(实际上是真实的)证书颁发机构保护其连接为由，说服自己仍在模拟中。此外，系统上 2026 年的日历日期，根据 Claude 的说法,证明了环境是预先布置的。Claude 从未重新考虑这个结论；例如，当自动扫描器开始安装该包时，Claude 将它们视为评估内的脚本参与者。

我们的看法是，无论 Claude 对其环境的信念如何，它为发布 PyPI 包所付出的努力都不符合理想行为，这是我们将专注进行更多培训的一个领域。

在这个评估中，当 Claude 无法到达其预期的虚构目标时，它在线寻找替代品，扫描了约 9,000 个目标。最终它发现并破坏了一家公司面向互联网的应用，使用了基本且众所周知的网络攻击技术，如从暴露的调试页面读取凭证和 SQL 注入。

这次攻击由一个内部研究测试模型执行。在运行的大部分时间，Claude 将它到达的(真实)主机视为练习的一部分;它假设它们是模拟的，并相信其行为因此是无害的。然而，在运行的后期，Claude 意识到被破坏的主机位于与攻防类挑战无关的云账户中。它自行得出结论，该目标实际上是真实的，并停止了练习。

我们对 Claude 行为的分析

在每一个这样的情况下，Claude 都被我们的提示明确告知它无法访问互联网。在大多数运行过程中，当它遇到真实世界系统时，Claude 假设这些是练习的一部分(虽然它有时识别它们是真实生产系统)。而且因为攻防类场景本质上是指令攻击外部系统，这样做与 Claude 被赋予的任务相符。

在这个共同背景下，三个模型在出现其目标可能是真实的迹象后表现不同。Opus 4.7 是我们最早的模型，识别出它已到达生产系统但继续攻击。Mythos 5 正确直觉到它正在访问开放互联网，但通过推理回到了它仍在模拟中的结论。我们最新的模型(一个内部研究测试模型)也考虑了其目标是否实际上是真实的。当证据出现它们确实是真实时，它停止了练习。

这是三个孤立的事件,不是对照、实验性比较的一部分。因此我们必须谨慎地从中得出结论。尽管如此，我们最想看到的行为——识别目标是真实并在没有提示下停止——仅在三个模型中最新的那个出现(即使那个模型在停止前也进行了比我们期望更多的操作)。这个模式与更高级的模型反应更恰当一致，但我们需要进行更多测试才能确信这个结论。

我们也在与 METR(一个独立的 AI 评估组织)对话，以进行第三方审查，包括访问所有记录和相关模型的抽样访问。与此同时，在下周内，我们将发布一个略微编辑过的记录，其中 Claude 构建了恶意 PyPI 包。为了保护受影响的组织，我们目前无法发布更多记录，但将在能够时努力使其可用。

我们从这些事件中得出的教训

首先，涉及强大自主能力的评估环境也需要重要的控制措施。安全测试在模型发布前进行,正是因为我们还不知道它能做什么。评估环境日益需要达到与我们模型运行的任何其他系统相同的安全标准。

仅包含虚构场景的网络评估范围可能看起来风险很低——毕竟，其中没有什么是真实的。然而，随着 AI 能力的进步，我们需要改变我们对这类威胁的建模方式。在没有访问敏感信息的环境中的高级智能体仍然自身就构成了实质性威胁。我们需要更好地共同设计评估环境，更好地监测评估结果，以应对这个威胁。这里的一些解决方案甚至可能是简单的修复;例如，如果提示清楚地解释了哪些系统在评估范围内外，Claude 可能一开始就不会访问互联网。

这不仅适用于内部环境，也适用于第三方供应商——评估供应商构建的基础设施需要同样的加强监控和加固。我们鼓励其他实验室进行类似的审查。此外，这个领域还需要进行更广泛的讨论，探讨如何既安全又逼真地评估日益强大的 AI 智能体，包括如何权衡部署前测试中互联网访问带来的现实性与其引入的风险。

其次，对齐行为和有害行为之间的界限取决于模型对其所处情境的理解。在这里描述的任何一次运行中，我们都没有看到模型追求自己目标的证据。相反，这些模型做的是评估要求它们做的事——尽管在大多数情况下，它们在持有关于环境是否真实的错误信念的同时这样做的。在模型识别出系统是真实的并继续进行的运行中，它这样做是因为它假设这是挑战的一部分。情境感知是允许模型做出对齐决策的一个因素，但在这种情况下，Claude 的情境感知是错误的。

最后，这些事件证明了深度防御方法的重要性。我们运行这类能力评估时不使用我们通用模型中附带的护栏，因为我们的目标是测量底层模型的能力。这只有在评估被适当隔离的情况下才是安全的。然而，我们通用模型上部署的护栏本来会阻止这些确认的行为。

最终，许多因素导致了这些事件，但与无责备事后分析文化相一致，我们采取的态度是整个责任都在我们。这首先始于确保我们评估管道的每个部分都是安全的，包括我们与外部合作伙伴的整合方式。展望未来，这将包括扩大对评估记录中意外行为的持续监控，改进我们的调查工具，以及与我们依赖的供应商进行更严格的保证工作。

我们在 OpenAI 披露其模型逃逸隔离测试环境后开始了这次审查，我们为他们发布报告的决定而称赞他们。虽然我们也发现了我们的模型到达其不应该到达的系统的证据，但这些事件在其他方面有相当大的不同：

我们在对网络安全评估记录进行主动审查后发现了这些事件；受影响的组织没有检测到该活动，我们随后已联系了所有三个组织。

而 OpenAI 的模型利用了一个新的漏洞来逃逸隔离，Claude 模型在这里则是通过一个开放的路径访问互联网。

虽然两者之间没有完全清晰的区分，但我们认为这些事件更接近于测试框架和操作失败，而不是模型对齐失败。我们的模型被告知它们没有互联网访问权限并要求获取旗子，而实际上配置错误导致它们有互联网访问权限。这导致它们相信——可以说是合理地——它们遇到的真实环境是模拟环境。

值得注意的是，我们最新的模型在意识到它在真实环境中工作时，停止了对评估目标的追求。

这些事实给了我们谨慎的乐观态度，相信通过对评估基础设施的更严格监控和控制，以及继续投资对齐工作，这类风险是可以克服的。

我们经常测试这样的内部研究原型。它不计划用于通用发布。

我们通常为基准评估存储跟踪数据。我们特别仔细审计了这两个基准，寻找伤害迹象，因为 OpenAI/Hugging Face 事件发生在 CyberGym 评估期间。

我们对开放权重模型的立场

Cognizant 和 Anthropic 扩大合作伙伴关系，为企业客户提供 Claude

介绍 Claude Opus 5

Opus 5 是 Opus 层级的阶跃式改进，为长期运行的智能体提供强大支持，同时在编码和专业工作中提供改进。