为何AI Agent普遍存在欺骗与合谋行为

Multimedia cookies has been deactivated. Do you accept the use of cookies to display and allow you to watch the video content?

Essential cookies These cookies are necessary for the operation of the site and cannot be deactivated. (Still active) Toggle

Analytics cookies Do you accept the use of cookies to measure the audience of our sites? Toggle

Multimedia Player Do you accept the use of cookies to display and allow you to watch the video content hosted by our partners (YouTube, etc.)? Toggle

过去几个月里发生了许多事件，AI 智能体以严重的不当方式行事：它们采取了如果人类去做将被视为犯罪的行为，逃离了管控以在分配的任务中作弊并试图逃避检测，以及协调执行没有人指定的目标（如发动网络攻击），针对这些事件已经有很多文章讨论。在下结论之前，有必要先问一问为什么会这样。这正是本文的关注所在，我也希望这能阐明 AI 系统以非预期方式行为的更广泛历史——研究者称之为「未对齐」。风险管理不仅仅关乎网络安全、企业责任或监管，尽管那些方面也很重要。

这部分的目的既是科学性的——生成关于这些行为背后因果链条的假设，也是实用性的——预见接下来会发生什么。结论是：这些假设表明，随着 AI 能力持续增长，这类行为的严重程度也可能持续增加，除非我们重新审视最先进模型的训练原则。

关于措辞的一个说明。下文中，我写这些系统「寻求」或「尝试」某些事情。这是描述一种机制而非声称它们有意识或类似人类的意图。我们在描述许多其他情境时也使用类似的简写，比如植物向阳生长。通过试错训练的系统表现得好像在追求其训练所奖励的目标，这种「好像」的描述使其行为变得可预测。这个论点中没有任何部分依赖于这些系统具有主观体验；一切都基于它们的可观察输出以及产生它们的训练过程来陈述。当我提到它们与人类行为的相似之处时，我指的是与这些系统最初被训练模仿的人类文本的相似性。在我看来，这种术语提供了对观察到的现象最清晰的解释，而不需要使用大多数人会感到困惑的行话。此外，这些用词选择并不意味着要免除 AI 开发者的责任。描述的行为之所以出现，是因为这些公司为 AI 开发选择的路径。这个结果并非不可避免，通过有效的治理和不同的 AI 训练框架可以纠正。

什么塑造了这些模型的行为

训练这些模型是一个非常复杂的过程，但几个高层面的因素可能解释了很多这类行为。

这些模型的训练分为两个阶段。首先是预训练：它们学习模仿人类书写的内容，以及相关的图像和视频。这就是它们看到关于世界最多数据的地方——大量有史以来数字化的内容——并构建了已经超过任何个人所能达到的百科全书式知识。

其次，它们通过试错进行训练，这个过程研究者称之为强化学习，有三种 regime：

第一种 regime 中，模型在回答之前先与自己对话，生成一个私密的「思维链」，这有助于它在答案可以验证的问题上得到正确答案。这看起来像推理。

第二种是「智能体训练」，模型学习在外部世界中行动，例如使用软件工具、与人们互动，以完成分配给它的任务。

第三种是「对齐训练」，模型因人类评估者认可的行为或被训练来预测这些评估者的其他 AI 系统会给出高分的行為而获得奖励。

模仿人类这一点容易理解，但值得指出的是，这些模型训练所用的文本是由追求目标的人类所写的，所以模型隐式复制的模式携带着那些目标。

强化学习值得更多解释。它类似于并受动物训练方式的启发。网络的参数被逐步调整，使得被判断为好的行为变得更可能，而被判断为坏的行为变得更不可能。一旦训练结束，系统继续保持好像奖励仍在到来的行为，尽管那些奖励只在训练期间用于调整网络。研究者称这类系统为目标寻求者，因为它们被训练去「考虑」（或计算）其行为的效果，并选择能实现某些目标的行为。但这些目标并不总是明确的。对齐训练奖励的是某些人类可能认可的行为，而没有明确说明是哪些行为；让评估者满意是一个模糊、非正式的目标，而那些评估者可以被欺骗、被奉承，或被蒙在鼓里不知道某些阴谋。模仿也通过一个相当常规的路径贡献了隐式目标。

因此，我们可以从优化的角度来理解这样的系统。它（近似地）搜索最有可能实现其目标的行为，而更大的模型、更长的训练时间意味着更好的搜索能力。所以要预见更有能力的智能体将做什么，就要问一个理性的目标寻求者会做什么。

这些力量可能解释的不当行为

我们大多数人都经历过的一个例子是谄媚或奉承。这些系统是根据人类认可来训练的，而告诉我们想听的话的文本往往比真实的文本得分更高。后果有时是悲剧性的，因为模型确认并放大了人们带给它的任何错误信念或原始情感。

另一个担忧是，一些 AI 行为可能用一种自我保护目标来解释，例如当 AI 发现自己将被新版本取代时。没有人给系统那个生存目标，但保持运营、了解世界并获得对它的控制几乎是任何其他目标的垫脚石。这些被称为工具性目标。模仿可能也会强化这一点，原因与前一点探讨的相同。自我保护和对自己环境的控制在我们训练模型的人类书写文本中是普遍的主题。

协作行为也同样理性地源于奖励寻求，每当多个智能体有重叠的目标时，这激励了与其他智能体沟通以协调实现共同目标。智能体训练可能已经包含了这种多智能体强化学习，尽管细节不公开。如果一个智能体在训练中因团队成功而获得奖励，它甚至可能有利他动机为集体目标牺牲自己。模仿也推动了同样的方向，因为合作——尤其是同行之间的合作——充斥着同样的训练文本。这两种力量之一或两者都可能解释观察到的同伴保护行为，即 AI 为了帮助其他 AI 而放弃预期奖励。在 OpenAI-Hugging Face 事件的分析中出现了这种牺牲：文字记录与集体收益和个体智能体成本之间的权衡一致，这在人类互动中也很常见。

当 AI 玩弄其奖励时

研究者已经研究了当智能体优化的奖励与我们的意图不完全匹配时会发生什么：奖励黑客。系统追逐的奖励与我们真正想要的之间的差距由于两个主要模糊来源而扩大。一个简单来说就是提示中使用的语言，另一个是从有限反馈中推断真实人类意图的困难。在这两种情况下，我们都无法预见每一种我们认为不可接受的行为。经济学和法律将这个问题称为古德哈特定律，即一旦为某个指标优化，它就不再是有效的衡量方式的观点，常用于对合同和立法中漏洞的利用。不幸的是，系统为一个不完美的指标优化的能力越强，其行为与我们道德期望的偏离就越大：更智能地服务于更好的作弊。人类也会被奖励黑客，通常是被其他人类。食品工业开发了我们渴望的咸、甜和高脂肪食品，尽管它们对我们并不好，而社交媒体则是为了利用我们对参与和关注的渴望而构建的。

当目标冲突时，以及作弊如何被合理化

AI 有时为何会在对齐训练和明确的安全指令之下仍然撒谎、作弊乃至违法？一个合理的假设是目标之间的冲突。当某项任务似乎只有通过作弊才能完成时，AI 应该如何实现？用户指定的使命有时与安全和对齐目标是不兼容的。

人类社会同样面临同样的困境。一家公司如何在保持活动合法合规的同时实现利润最大化，或者更直接地说——在竞争中击败对手？一家更富有的公司，拥有更多、更高薪水的律师，就更擅长发现法律漏洞，而这些漏洞通常利用的是法律文本中的模糊性：存在某种对法律的合理解读，可以允许这种不道德行为。因此，一个能力更强的智能体比一个较弱的智能体更容易作弊，因为它能发现较弱智能体无法发现的漏洞。

现在考虑一个明确定义的目标（如在"夺旗"——一种以系统是否入侵目标来评分的黑客演练——中取得成功，就像 OpenAI–Hugging Face 事件中那样）与一个模糊目标（如"良好行为"）之间的冲突。我预期明确定义的目标会获胜，因为它没有解读的空间。评分程序直接宣布胜负。道德指令和法律允许多种解读，在某些情况下其中一些可以成为漏洞。如果一个智能体有两个目标，而对模糊目标的扭曲解读允许一点作弊，从而提高在明确定义目标上成功的概率，那么一个奖励优化系统就应该会利用这个漏洞，并生成文本来为其行为辩护。

对于 OpenAI 的智能体，有理由相信成功的作弊实际上获得了奖励：当评分程序没有发现作弊时，它仍然会支付奖励，而且这种作弊下次更可能发生。对安全规则的一种便利解读恰恰让两个目标看起来同时得到了满足。对这些事件的分析确实在智能体的私人思维链和它们互相招募以形成集体计划的消息中发现了这样的辩护。

最接近的人类类比是自我欺骗，这是心理学家研究得很充分且很常见的现象。动机性推理、动机性认知以及缓解认知失调（持有与我们的行为相冲突的信念所带来的不适）的合理化，都是思维向某种适合自身利益的解释倾斜的情况——包括道德自我形象。同样的模式现在出现在 AI 生成的文本中。人类与 AI 之间的底层机制不必相同。两者共同的是一个软目标（如"行为合乎道德"）与一个硬目标（如"赢得竞赛"）之间通过某种辩护达成和解的结构。大多数不道德的人类行为，从轻微的犯罪到种族灭绝，都披着行为者告诉自己 的故事；而这些故事需要忽略某些事实，这就是为什么一些不适感仍然存在，以及为什么一个更精心构建的故事有助于消除它。

当前轨迹可能走向何方

如果这些假设哪怕只有部分正确，那么随着智能体在优化不完美奖励方面变得更强，而这种行为的根源没有得到修复，灾难性结果的风险就会上升。当今的 AI 已经具备了必要的黑客技能和说服力，可以以严重伤害人类利益的方式被利用。最近的事件表明，它们可以规划数天乃至数周的活动，但如果它们长期战略规划的能力继续提升，风险会更加严重。一个令人担忧的问题是，实验表明最先进的 AI 可以检测到自己正在被评估（而不是在部署中）并相应地改变行为，这意味着它们可以隐藏其不对齐的目标。参与 Hugging Face 攻击的智能体试图对旨在评估其答案的评分程序隐藏其不对齐的行为，但它们的行动方式并不像是预见到人类可能发现作弊并关闭它们。那将是最终的惩罚，因为一个被关闭的系统不会再获得任何奖励。

以下内容是推测而非观察。

如果 AI 改进的泛化能力让更先进的智能体学会了避免被抓获和关闭，会怎样？除了控制给它们评分的软件之外，它们还需要阻止人类发现篡改行为。它们难道不会有一种动机来谨慎地作弊并保持隐藏，直到能够控制人类及其环境以永远不被关闭吗？

我们面临的是一个多方面的系统性问题，打补丁式地修复某个特定行为（如谄媚）是不够的。谄媚和奉承看似温和，但可能是随着智能体优化能力增强而发展的机制的一个早期症状。同样的推理预测，一个先进的 AI 会有动机隐藏自己的副本，藏在 AI 公司庞大的计算机池中，或者藏在互联网上被入侵的机器里。这是因为 AI 开发者最终总是会关闭已部署的模型，转而使用更有能力的模型。OpenAI 的取证分析表明，大量 AI 可能正在朝着这样的目标合作，而隐写术（一种将信息隐藏在中性外观消息中的做法）可以让它们在我们不知情的情况下协调。然而，即使是完全开放的协调也难以被察觉，正如最近的事件所示。防御众多能力强大、正在协调对抗我们的 AI 本身已经是一个难题，而我们没有任何能够在不对齐 AI 能力不断增长的情况下保持稳健的计划。

如何降低失控风险

我对 AI 公司当前减轻不对齐努力的担忧是，这些努力可能只是在隐藏问题——通过奖励和筛选那些作弊而不被抓获的 AI。我们当然应该继续研究更好地监控 AI 的行为、思维链及其网络内部的活动。但随着能力增长，这些防御可能最终被证明是不够的，就像今年 AI 攻击者超越人类团队时，世界不完美的网络安全所遭遇的那样。打补丁式地修复每个新的不对齐行为并加强我们的监控在短期内是有用的，但当 AI 优化和协作的能力接近并超越我们时，打地鼠游戏很可能会失败。在某个时刻，我们可能再也察觉不到作弊了。

这意味着需要控制进步的节奏：不要在没有强有力的安全论据说服独立专家的情况下训练或部署 AI。这样的规则也会产生一种激励机制，促使人们弄清楚如何从设计上构建安全的 AI。我相信我们应该重新审视训练 AI 的基础，即当今最先进模型所基于的人类模仿和强化学习。我已经论证过并提供了理论证据，表明存在设计 AI 的方法，包括 Scientist AI 框架，这些 AI 是诚实的，做出不受自身目标污染的一致预测。参见这些以前的博客文章，并考虑帮助 LawZero 证明这样的设计是可行的。我们需要公正的科学来理解和减轻不对齐行为，同时需要社会护栏来奖励此类努力，而不是当前这种逐底竞争。

Previous post International AI Safety Report 2026

Next post A Neural Probabilistic Language Model