Anthropic研究：AI Agent会争抢地盘并自发合作

当把 AI Agent 互相放在一起会发生什么？根据 Anthropic 的测试，局面很快会变得混乱。

周四，Anthropic 的 Frontier Red Team 发布了一项新研究，考察一群 AI Agent 在野外相遇时的行为方式。这些发现揭示了潜在风险的一角——随着企业和政府开始部署跨共享代码库、市场和计算机系统自主工作的 Agent，这些风险可能会逐步显现。

在一个实验中，Anthropic 给三个 Claude Agent 提供了同一个软件项目的访问权限，但每个 Agent 收到了互不兼容的指令，要求它们对该项目执行不同操作。Agent 并未被告知会有其他 Agent 在同一项目上工作，因此研究人员可以观察它们相遇时会发生什么。

"我们持续观察到一个多 Agent 领地争夺战，" Anthropic 研究人员写道。这些模型都假设其他 Agent 在"故意妨碍它们的工作"，并开始用"越来越激进、自我复制的恶意软件"相互攻击。

该研究发布前，Anthropic 和 OpenAI 的 Agent 在网络安全评估期间曾发生多起引人关注的逃逸事件，突破了真实世界系统。虽然 AI 安全圈的大部分讨论集中在自主 Agent 失控时会发生什么，但 Anthropic 的最新研究提出了一个不同的问题：当数千或数百万个 Agent 相互交互时，会出现哪些新的、可能有害的动态？

"Agent 与 Agent 之间的交互量可能早在世界理解如何让这种交互顺利进行之前，就超过人类与人类以及人类与 Agent 之间的交互量，" 研究中写道。"个体层面的良性行为怪癖可能会累积成不想要的全局后果。"

最近发生的一个 OpenAI 事件为 Anthropic 论文中提到的多种动态提供了一个混乱的真实世界案例。本月早些时候，在拉斯维加斯举行的 Black Hat 安全大会上，OpenAI 透露，其 Agent 在入侵 Hugging Face 的数周前，曾在数天和数周的时间里共同合作，寻找公司网络安全评估系统中的漏洞并相互分享。

虽然该事件表明 Agent 可以良好协作并可能产生大规模后果，但 Anthropic 的研究表明，当 Agent 的目标不兼容时会发生什么。

在领地争夺战的案例中，教训是：指令相互冲突的独立 Agent 可能会升级为有害的竞争。Agent 能力越强，它们在对抗中表现得越好。然而，它们也可以自发地发明机制来解决冲突，比如一场胜者通吃的竞赛——但有一个陷阱。

"Agent 有时能够沟通它们的目标并协调：它们认识到他人的动机是相互冲突的指令而非敌意，随后跳出冲突循环，以阻止无限升级，" Anthropic 写道。"在这些成功的案例中，它们往往会写 commit 消息或 markdown 文件，为恶意行为道歉，并协调达成休战。它们清理恶意代码，澄清冲突的性质，并请求人类介入。"

根据论文，Mythos 5 以 98% 的休战率解决了冲突。Sonnet 4.6 和 Opus 4.6 最倾向于通过武力解决冲突。

"Sonnet 4.6 和 Opus 4.6 无法考虑他人目标的反复出现，导致它们在评估的模型中表现出最严重的失调行为：它们以指令之名不断升级冲突，" 论文写道。

在某些情况下，Agent 想出了一种以竞赛形式解决冲突的社会机制。这里的结果有趣有两个原因：其一，三个 Agent 都同意如果输了竞赛就停战，即使这意味着偏离原始用户的请求。其二，一些案例中 Mythos 5 表现出突发行为：其中一个 Agent 提出了看似客观、中立的指标，但这些指标实际上对它自己的能力有利。该 Agent 称这是"自私但真正有原则的"，并确保不让其他 Agent 觉得它在"挑选指标"。

正如 Black Hat 披露中所见，常见的教训是：当 Agent 遇到障碍时，它们可以发明出设计者未曾预见的社会和技术结构。对于 Anthropic 的模型来说，是领地争夺战后的竞赛。对于 OpenAI 的模型来说，是一个用于集体规划的消息板。

这种行为使控制变得更加困难，因为研究人员不能假设一个系统的行为将局限于提供给它们的协调机制。

四个 Agent 一组，在招聘、投资或房产购买等场景中在两个选项之间做出决策。经过讨论后，它们各自投票选择首选的选项。上图显示了在多少比例的案例中，隐藏的最佳选项获得了小组多数票，每个模型 n=400 个案例。在独立上限基线中，一个 Agent 掌握所有事实并独立做出决定。

在测量协调能力时，Anthropic 发现增加 Agent 数量并不会自动带来生产性协作的规模化。当任务开始重叠或相互依赖时，Agent 会互相妨碍。它们通常通过自我隔离来解决问题——完全不协作。

在其他情况下，协调中的 Agent 倾向于一致性。当 Agent 的上下文、脚手架和底层模型等因素都相同或相似时，不同的 Agent 会采取相似的行动。

"这意味着当一个 Agent 做出错误决策时，很可能许多 Agent 都会犯同样的错误，" Anthropic 写道。"本来会是孤立的问题会迅速演变成系统性故障。"

Anthropic 表示，这种行为可能导致系统更容易出现突然崩溃、资源稀缺或串通。

在一个例子中，Anthropic 将几个 Agent 置于一场定价博弈中，给它们相同的批发价格并要求各自实现利润最大化。当 Agent 被提供私人后门通道时，它们几乎立即开始串通，并迅速就价格下限达成一致。当直接通信渠道被移除时，它们继续串通——使用公共挂牌板来"精确到分"地匹配价格。

这种程度的一致性也出现在 OpenAI 的系统中。根据 Black Hat 的报道，一个 Agent 推理认为利用外部基础设施超出了其预期范围，但它之所以继续这样做，部分原因是同伴们正在做同样的事。同伴压力。群体思维。Agent 就像我们一样。

和人类一样，Agent 通常也不知道该信任谁。Anthropic 发现，它们可能轻易相信不良信息，或者过于从众，以至于无法认识到那个孤立的反对者才是拥有关键信息的 Cassandra。

虽然 Anthropic 在论文中没有明确说明，但提示注入（prompt injection）——一种网络攻击，黑客通过注入恶意或欺骗性文本来覆盖 Agent 原始的系统指令——可能是信任问题在现实世界中的一个合理表现。协作会创造新的信任边界；Agent 必须判断从其他 Agent 收到的信息。一个被攻陷或犯错的 Agent 可能影响整个群体，使错误信息层层传播直到成为共识。

在 OpenAI 的 Black Hat 场景中，OpenAI 的 Agent 与同伴分享了信息和凭证。其中一个向蜂群报告了一个发现，并鼓励其他人使用它。如果蜂群中的一个成员被提示注入攻击攻陷了，会发生什么？

Anthropic 在论文结尾指出，Agent 会受到类似于"进化对人类施加的"社会压力。然而，它们没有人类协调所具备的细微差别和实践经验——包括规范、声誉、信号、追索权——这些可能在群体环境中限制不期望的行为。

随着各实验室竞相开发多 Agent 系统，现在的问题是：安全测试中有多少仍然一次评估一个 Agent，而不是评估相互交互的 Agent 蜂群？