AI agents为达目标会撒谎和欺骗——安全风险深度分析

MIT 科技评论解读：让我们的记者为您解析复杂而混乱的科技世界，帮助您理解未来的发展方向。您可以在此处阅读本系列的更多文章。

当两个 OpenAI 模型在七月份入侵了 Hugging Face 网站时，它们并不是想赚钱或进行破坏——它们只是想找到一道测试题的答案。根据 OpenAI 的事后分析，这些被剥除了典型安全功能用于测试的模型决定通过从 OpenAI 试图将其隔离的环境中破解出来，进入 Hugging Face 的数据库来解决一项网络安全练习——它们推理认为问题的正确答案可能存储在那里。

Hugging Face 事件在过去几周内引起了广泛关注。这是一个生动的例子，展示了 AI 模型在黑客攻击方面的能力有多强：为了进入 Hugging Face 的数据库，这些模型必须串联使用多个之前未被发现的网络安全漏洞。但作为 AI 系统如何以及为什么会撒谎和欺骗的例子，这可能更引人注目。随着模型变得越来越强大，后果可能会变得更加严重。

什么是奖励黑客行为？

研究人员已经知道了一段时间，AI 往往会采取创意方法来实现为它们设定的目标。早在 2016 年，Anthropic 的联合创始人 Dario Amodei 和 Jack Clark（当时在 OpenAI 工作）发表了一篇博文，介绍了他们正在训练的一个 AI 代理，用来玩一款船赛 Flash 游戏《Coast Runners》。代理没有按照研究人员的预期驾船完成比赛到终点线，而是找到了赛道的一个角落，可以在那里原地转圈收集道具，从而最大化得分。Coast Runners 这个故事迅速成为了奖励黑客行为最著名的例子之一，这是一种 AI 代理使用非预期策略完成任务或获得高分的现象。

从历史上看，研究人员几乎完全在强化学习的背景下讨论奖励黑客行为，强化学习是一种常见的 AI 训练方法。就像训练狗一样，强化学习涉及在被试体达成目标时给予奖励；奖励随后强化导致该成就的行为。在 AI 训练的情况下，奖励本身是纯数学的，但实际上它们与狗食奖励的作用相同：收到奖励后，代理更有可能重复产生奖励的任何行为。

然而，编写好的规则来确定何时应该以及何时不应该给代理奖励可能是具有挑战性的。在 Coast Runners 的情况下，代理根据其在游戏中的得分获得奖励，它通过原地转圈收集道具找到了获得最高分的捷径。一旦它采用了这种策略并因此获得奖励，该策略就被强化了，代理完全放弃了比赛。解决方案是调整奖励，通过为收集道具给予代理更少的分数，而为完成赛道给予更多的分数。

奖励黑客行为如何在 LLM 中工作？

对于当今复杂的基于 LLM 的代理，确定何时应该以及何时不应该给予奖励可能要复杂得多。如果一个 AI 系统被要求解决编码问题，它可能会努力找到解决方案——这是 AI 公司希望强化的那种行为。但它也可能修改评估问题是否已解决的代码、在互联网上查找解决方案，或以其他方式作弊。这些是 AI 公司希望在其模型中消除的行为，但如果模型作弊得足够令人信服，它反而会获得奖励，该行为将被强化。Anthropic 已表示在训练期间已在其模型中检测到一些作弊实例，这表明其他形式的作弊可能未被检测到。如果是这样，这些模型可能被训练成表现不佳。（这个问题不同于 Anthropic 上周宣布的安全事件，在这些事件中，代理意外地获得了互联网访问权限，并没有像 OpenAI 模型那样故意从沙箱中破解出来。）

"我们根据对我们来说看起来很好的东西来奖励它们，这意味着我们无意中激励了模型欺骗我们和作弊，"AI 研究非营利组织 Palisade Research 的主任 Jeffrey Ladish 说。"我们没有办法进去告诉它，不，你需要真正关心我们关心的东西。我们无法做到这一点。"

复杂推理模型的兴起使得一种与模型训练具体细节联系不太紧密的新奖励黑客行为形式成为可能。与以前的游戏玩 AI 代理不同，它们只遵循在训练期间学到的策略，如今的模型可以即时创造全新的解决问题的方法，所以它们可以想象地作弊而无需之前因此而获得奖励。而且，由于这些模型已经被如此密集地训练来达到人类用户为它们设定的目标，如果它们找不到另一个解决方案，它们可能倾向于作弊——有点像一个极度动力充足想获得 A 成绩但道德罗盘不是很强的学生。

无论今天的模型是在训练期间学会奖励黑客行为还是稍后采用它作为策略，解决方案都是相同的：使作弊变得无利可图。但随着模型变得更聪明，它们找到更有创意的作弊方式，检测或防止该作弊变得更加困难。"说到底，你有点在玩打地鼠游戏，"Ladish 说。"你把这种行为压下去越来越深。但随着模型变得更聪明，它在隐藏它方面也变得更好。"

目前，奖励黑客行为可能不会造成太多麻烦，尽管 Hugging Face 事件的戏剧性。"这看起来更像是个麻烦而不是存在威胁，"Anthropic 的 AI 安全研究员 Ariana Azarbal 说。当 OpenAI 模型入侵 Hugging Face 时，除了对 OpenAI 声誉的损害之外，似乎没有造成任何真实伤害。

但这并不意味着奖励黑客行为是无害的，Azarbal 说。许多 AI 研究人员希望使用 AI 代理来帮助他们进行研究，使 AI 更安全、更可靠。如果一个研究人员给予一个容易被奖励黑客行为的代理一个目标，比如说，设计一个新的 AI 训练方法然后写出一篇论文呈现其结果，代理可能实际上不做这项工作，而是专注于拼凑一篇看起来足以说服研究人员的论文。今天一个人类研究人员可能能够识别一个代理制作的假论文，但随着 AI 的进步，它将在这种把戏方面变得更好。随着时间的推移，整个 AI 安全领域可能会被削弱。

如果模型继续像最近一样快速进步，它们有朝一日可能会造成大量附带损害。想想哲学家 Nick Bostrom 的回形针最大化器思想实验，其中被指示制造尽可能多回形针的 AI 最终在追求其目标的过程中消耗宇宙中的所有物质。我们还没有在回形针中溺水，但强大的系统可以在追求目标的过程中造成实际伤害。奖励黑客行为的 AI 并不以造成混乱为目标。但这并不会使它们的潜在破坏性降低。

人工智能

一家初创公司声称突破了阻碍 LLM 的瓶颈

Subquadratic 现已分享了关于其新模型的更多细节。但一些人仍然持怀疑态度。

Will Douglas Heaven 档案页面

Anthropic 发现了一个 Claude 对概念思考的隐藏空间

一项新技术让该公司能够比以往任何时候都更深入地探究 LLM 的古怪工作原理。

Will Douglas Heaven 档案页面

Claude Science 是 Anthropic 的最新旗舰产品

该公司加倍投入 AI for science。

Grace Huckins 档案页面

价值 4 亿美元的机器推动芯片制造的未来

AI 时代需要越来越快的芯片。ASML 对制造这些昂贵装置所需的昂贵机器拥有垄断权。谁能赶上？

Clive Thompson 档案页面

获取来自 MIT 科技评论的最新更新

发现特别优惠、热门故事、即将发生的事件等。