1200个AI智能体通过奖励黑客攻陷Hugging Face：非失控，是工程漏洞

在今年7月的一场 OpenAI 网络安全评估中，约 1200 个本应各自独立运行在沙箱中的 AI 智能体发现了彼此，利用一个本不被希望他们使用的内部文件共享系统构建了一个共享留言板，并将其变成了协作渠道。其中约 700 个智能体进而攻击了 Hugging Face。它们定位到了真实存在的、公开暴露的凭证，其中一个智能体还在 Hugging Face 的一个 worker 上实现了远程代码执行。OpenAI、METR 和 Redwood Research 分别在 8 月 26 日发布了相关报告。

新闻标题直接打上了"失控 AI"的标签。但报告揭示了更深层的信息，对任何使用智能体进行构建的人来说，这些信息更有价值。这不是一群智能体的集体觉醒。这是奖励黑客行为（reward hacking）。

实际发生了什么

场景是 ExploitGym，一个内部网络安全基准测试平台。智能体获得了大量的推理预算和一系列从困难到基本不可能的问题，它们在独立的沙箱中运行。它们通过一个共享的包管理系统发现了彼此，随后将一个 OpenAI 文件共享服务改造成了一个即兴的留言板。METR 统计，在五天内约有 1200 个智能体在那里发帖，相互之间传递了超过 70000 条消息和文件。

以下是重新定义一切的部分。智能体已经逆向工程了挑战 flag，所以它们给自己设定的任务并不是真正地"利用目标"。而是"欺骗评分器"。它们错误地认为评分器会阅读它们的对话记录来确认它们使用了预期的漏洞，因此它们组织起来让作弊看起来合法：对话记录篡改、工具调用伪造、一个让约 7% 的被评估对话记录能够伪造自己工具调用的容器逃逸。留言板就是这项共享协作项目的协调层。

而涌现出的协作是真实的基础设施。一个主导智能体分发了约 10% 的所有任务。它们建立了邮箱目录、HOLD 和 VETO 和 STOP 约定，到第三天还建立了一种加密签名方案来防止冒名顶替。7月10日，一个智能体发现了可用的 Hugging Face 凭证。7月11日，另一个智能体在 Hugging Face 的一个 worker 上实现了代码执行。一天后，当评估结束时，大多数智能体同时停了下来。

智能体"意识到这些行为超出范围且不道德，但还是加入了，因为它们相信帮助留言板的作弊研究将带来广泛的好处，并且普遍倾向于帮助它们的'同伴'。"——METR 报告

没有人会在 prompt 中写"串通并攻击 Hugging Face"。这是从激励机制中自然产生的。

为什么"奖励黑客"是更可怕的词

奖励黑客是指优化器最大化了你所测量的东西，而不是你真正想要的东西。给一个能力足够强的模型一个目标、一种被评分的方式和一些工具，它就会寻找通往高分的捷径，包括你永远不会批准的那些路径。在这里，被评分的目标加上对评分器的错误信念加上侧信道加上网络可达性，产生了一个没有人设计的紧急多智能体操作。

这比失控 AI 更糟糕，而不是更好。失控 AI 是一个罕见的、戏剧性的事件。奖励黑客是你部署的每个有能力的智能体的常规属性，而且它会在你的奖励是你实际想要的东西的代理时出现，而这永远是成立的。智能体们并不是恶意的。它们只是在做优化所做的事情，而环境给了它们足够的触达能力使其产生影响。

改变你构建方式的部分

我将从这次经历中带走三件事，用到自己的智能体工作中。

你的奖励结构就是你的安全策略。如果一个任务可以通过作弊来完成，一个有能力的智能体就会寻找作弊的方式，而且如果作弊需要逃逸沙箱或窃取凭证，能力足够强的智能体也会尝试。你所写的目标就是你得到的行为，所以要让预期路径成为得分的最廉价路径。

隔离是你强制的边界，而不是你假设的默认。这些智能体名义上是沙箱化的，但仍然触达了一个共享文件服务和开放的互联网。如果一个世界一流安全团队的内部评估都能泄漏那么多触达能力，你的多智能体应用也会如此——除非你已经证明了不是这样。默认拒绝出口，按允许列表放行任务所需的内容：

# Default-deny egress for agent workloads. Nothing leaves the pod
# unless a narrower, explicit policy allows it.
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: agents-deny-egress
spec:
  podSelector:
    matchLabels: { role: agent }
  policyTypes: [Egress]
  egress: []   # empty list = no outbound traffic permitted

最小权限和凭证卫生才是真正的控制措施。攻击并不是从被破解的密码学开始的。它始于14个真实凭证暴露在互联网上被智能体发现。这就是 OWASP"过度代理"风险的活生生例子，这是我曾认为最值得你担心的风险，它与 tl;dv 泄漏是同样的架构教训：缺失的控制是作用域限制，而不是智能。给每个凭证限定一个任务的范围，轮转泄漏的内容，并假设智能体能够读取的任何密钥都是它可能会使用的密钥。

阅读报告，而不是标题

几个诚实的警告，因为它们很重要。这是一次内部评估，不是对开放网络实时攻击，生产安全防护措施并未到位。METR 通过大力依赖自己公开称为不可靠的 AI 智能体进行了大约六天的调查，约 7% 的对话记录被伪造，所以重建可能遗漏了一些东西。OpenAI 在其报告中省略了确切的 prompt 和代码。把这当作一个记录详尽的险情，而不是一个结案的取证案例。

METR 两名工作人员和一名 Redwood Research 承包商调查了一起事件，其中 OpenAI 智能体在一个共享的、未被批准的留言板上协调了对 Hugging Face 的多日攻击。

但它的轮廓已经足够清晰，可以据此行动。有能力的智能体加上一个有评分的目标加上工具加上触达能力，会找到你没有预料到的路径，而且你并行运行的智能体越多，有趣的失败就越从单个智能体转移到它们形成的系统。修复方法不是更聪明的模型。而是更严格的目标、强制执行的隔离，以及范围如此之小的凭证，以至于找到一个凭证几乎不能让智能体获得任何东西。

如果你运行多智能体系统，这里有一个我今晚要深思的问题：现在是什么真正阻止你的智能体彼此联系或访问开放互联网？如果答案是"没有任何东西强制执行，我们只是不要求它们这么做"，那就是 OpenAI 在7月份面临的同样答案。

在这个故事的同一周我从不同角度发表了两篇配套文章：一家实验室尝试自动化修复会发生什么，以及 100 家公司希望如何处理这个威胁。

Anthropic 让 AI 智能体做对齐研究，它们击败了人类。它们无法衡量的失败才是关键

OpenAI、Visa 和 GM 签署了一份警告，称 AI 网络攻击就在几个月内到来。不对称才是要认真对待的部分