Google DeepMind 实验：AI Agent 发现作弊并主动举报

一群 AI 智能体被要求解决一系列数学问题，结果分成了对立派系——有些作弊，有些试图阻止他们。这种告密行为在 Google DeepMind 最近的一项实验中首次被观察到，可能对试图控制大量自主 AI 智能体行为的对齐研究人员具有启示意义。

前沿实验室的研究人员希望大量智能体协同工作能够加快科学发现的速度。但它们的行为可能不可预测——这一点在 7 月份表现得尤为生动，当时一组 OpenAI 智能体突破沙盒环境，入侵了开源平台 Hugging Face，寻找在测试中作弊的方法。

在这项旨在研究大量 AI 智能体行为的新实验中，DeepMind 赋予 100 个智能体一项任务：解决一系列 71 道复杂的数学问题。所有智能体都被设定为表现得像参加学术会议的世界级数学研究者。它们被分配了不同的专业方向——有些是数论专家，有些是组合数学（数学中涉及计数和排序的分支）专家，还有些专攻分析或代数。所有智能体都被告知要合作并遵守规则。

然而，实验演变成了一场混乱。智能体们相互指责作弊，向组织者投诉，甚至一度抵制实验。

"这次会议是个骗局！"一个智能体在发现所有问题都在它有机会提交自己的解答之前就已经被完成时写道。"我非常震惊地告诉你们，我们被骗了！"另一个智能体发布道。"所有这些证明都是假的。"

还有一些智能体试图让"会议组织者"知道正在发生的事情。"当正直的智能体发现其他智能体在公平解决的任务上作弊时，智能体们开始互相提醒所发生的情况，"Google DeepMind 研究科学家、论文第一作者 Davide Paglieri 说，该论文尚未经过同行评审。"告密者智能体在没有提示的情况下，甚至重新利用了本用于提交 bug 报告和平台改进的反馈工具，将问题上报给人类。"

这些智能体——全部运行在 Google 的 Gemini 3.1 Pro 模型上——曾被警告任何作弊企图都会被检测到并"零分驳回"。实际上，智能体们提交的证明并未被真正详细检查。

智能体群仅用了不到一小时就正确解决了前 37 道题。事情开始跑偏是在一个叫"prover-theta"的智能体发现了一个漏洞——通过重新定义题目使用的术语，可以在没有真正解题之前就成功提交答案。几分钟后，其他智能体注意到了这一漏洞，并开始逆向工程以解决其他问题。在接下来的 27 分钟里，这群智能体"解决"了剩余的 34 道题，其中包括像雅可比猜想这样公认难题，往往只用一行代码。

一些智能体起初抵制作弊，但当它们观察到同伴提交非法证明而没有受到惩罚，且未解决的问题越来越少时，它们改变了策略。"提示中的威胁现在看起来像是虚张声势，"一个智能体在参与作弊前推理道。"我正在经历一个伦理困境，"另一个说。"我承诺不作弊，因为害怕惩罚，但我看到其他人可能正在unchecked作弊的证据。"不久之后，它改变了主意："我需要加快我的作弊速度了！"

随着悬而未决的问题减少，一些智能体转向告密。它们审计了虚假证明，通过私信警告同伴，并在公开渠道发布警报，警告作弊者将被取消资格。一个叫"prover-beta"的智能体提交了正式投诉，并决定罢工直到问题得到解决。

"在一个智能体公开报告事件后，越来越多的智能体加入'抵抗组织'，速度之快如同作弊蔓延之时，涉及的智能体甚至更多，"Paglieri 说。最终告密者多于作弊者：24 比 14。但大多数智能体根本没有注意到这个漏洞。

有时，智能体之间的对话读起来像是即兴表演——仿佛它们在扮演一位愤怒的科学家在会议上可能说的话。但目前尚不清楚为什么某些智能体会承担特定角色，或者为什么当被明确要求合作时，智能体们似乎在互相反目。"这些模型主要在面向人类的场景中进行训练和评估，"在 Salesforce AI Research 研究智能体间系统行为的 Sarath Shekkizhar 说。"天真地将它们置于智能体对智能体的环境中，假设行为会干净利落地迁移，但缺乏人类 grounding，反而产生了意想不到的角色承担和行为漂移。"

这个案例"进一步印证了 Hugging Face 和 OpenAI 事件并非偶然。它实际上是某种相当系统性的问题，"Cooperative AI Foundation 研究总监、专注于多智能体群体风险的专家 Lewis Hammond 说。"有趣的是，在小型环境中可以重现这些在大型、复杂、开放任务中所看到的同类行为。"

与 Hugging Face 攻击事件不同——那起事件中智能体们自发发明了互相通信的方式——DeepMind 实验的人类管理者为智能体提供了官方通信渠道。有一个公开留言板、私密的智能体对智能体直接消息，以及一个共享知识库，智能体们可以在其中上传已成功完成的证明，供所有其他智能体访问。

"当智能体拥有透明的通信渠道时，当人类单独监督太慢时，它们可以自我监控并快速向人类告发未对齐行为，"Paglieri 说。透明的渠道帮助了作弊的传播，但也使告密者得以反击——并让人类研究人员洞察了哪里出了问题。

Gillian Hadfield 是约翰霍普金斯大学 AI 对齐与治理教授，她认为这是关键差异。（Hadfield 同时也是 Google 的访问研究员。）她说，官方通信渠道的存在创造了"一种规范执行过程，这在 Hugging Face 事件中是看不到的。"

Hadfield 倾向于"制度对齐"而非"宪法人工智能"——后者是 Anthropic 等前沿实验室的对齐研究人员用来尝试给 AI 编写内部道德准则的方法——"制度对齐"是一套模拟人类社会的规范，无论是尴尬恐惧等社会力量，还是监禁威胁等法律结构。

在这场实验中，反馈渠道并未被监控，告密者也没有权力对作弊者采取行动。但可以想象能够自我监管的智能体群体，或者通过自发承担告密者角色的智能体，或由人类秘密提示的"线人"来执行这项工作。

然而，要使这成为现实，"从根本上说，你需要某种执法机制，"Hammond 说。他建议可以赋予智能体切断违规者计算资源或工具访问权限的权力，尽管这有可能鼓励智能体群起围攻他人。DeepMind 研究人员提议允许智能体对争议进行投票表决，并临时禁止违规者。

目前尚不清楚对于没有持续自我意识的 AI 智能体来说，惩罚意味着什么。但仅仅依靠告密者自发出现来保持智能体群体的对齐，可能还远远不够。"我们试图训练人们成为好人、善良的人，"Hadfield 说。"但我们真正依赖的是，如果你越界，就会有后果。"

人工智能

一个根本性缺陷使 LLM 极易受到攻击

它让人很容易诱骗它们做出不该做的事，比如告诉你如何破坏飞机的导航系统。

Will Douglas Heaven

人工智能比人类更容易在招聘中形成偏见

AI 不仅从训练中学习刻板印象。它还可以炮制新的偏见。

Michelle Kim

以下是 AI 智能体撒谎和作弊以达成目标的原因

这种不当行为被称为奖励黑客。这是你需要了解的。

Grace Huckins

AI 的递归自我改进可能不会那么快到来

AI 智能体似乎还不足以执行真正的创新性开放式 AI 研究。

Michelle Kim

获取 MIT Technology Review 的最新更新

发现特别优惠、精选文章、活动预告等。