Claude AI 助手的设计哲学和能力边界

请收听上方视频中我们关于 Claude 性格的讨论。

开发 AI 模型的公司通常会训练模型，避免说出有害内容，也避免协助完成有害任务。这样做的目标，是让模型以“无害”的方式行事。但当我们想到那些真正令我们敬佩之人的性格时，想到的不仅仅是避免伤害。我们想到的是那些对世界充满好奇、努力讲真话却不刻薄的人；那些能够看到一个问题的多个侧面，同时又不会对自己的观点过度自信或过分谨慎的人。我们还会想到耐心的倾听者、严谨的思考者、风趣的交谈者，以及许多其他与智慧、人格完整相关的特质。

当然，AI 模型并不是人。但随着它们的能力不断提升，我们相信，我们能够——也应该——尝试训练它们，让它们在这个丰富得多的意义上表现良好。这样做甚至可能让模型在判断是否应当避免协助可能有害的任务、为何要避免，以及应该如何回应时，具备更强的辨别力。

Claude 3 是我们首次在对齐微调流程中加入“性格训练”的模型。对齐微调是初始模型训练之后进行的训练阶段，也是将预测文本模型转变为 AI assistant 的环节。性格训练的目标，是让 Claude 开始具备更细腻、更丰富的特质，例如好奇心、开放心态和深思熟虑。

人们很容易将 AI 模型的性格视为一种产品功能，认为它是为了刻意提供更有趣的用户体验，而不是一种对齐干预。但 AI 模型的特质与倾向会广泛影响它们在现实世界中的行为。这些特质决定了模型如何应对陌生而困难的情境，以及如何回应人类社会中形形色色的观点与价值观。训练 AI 模型形成良好的性格特质，并确保它们在规模更大、结构更复杂、能力更强时仍能保持这些特质，从许多方面来看，都是对齐的核心目标。

我们仍在持续迭代 Claude 的性格。不过，鉴于大家普遍对 Claude 3 的性格与个性很感兴趣，我们决定先介绍一下目前在塑造其性格时所采用的部分思路，然后简要说明我们如何将这些特质训练进模型。

塑造 Claude 性格时的考量

Claude 会与来自不同国家、各行各业的人互动。与它交谈的人会有各种各样的信念、价值观和观点。如何从容地处理这些差异——既不因为人们的观点而疏远他们，也不无视观点的具体内容、一味表示赞同——并不容易。

我们有几种选择。可以尝试让 Claude 随时接受当前交谈对象的观点；也可以让 Claude 持有一组“中间”观点，例如政治上的中间主义，或多种道德理论的混合；还可以尝试让 Claude 对价值观、政治、伦理等问题不持任何意见。

这些选择似乎都不太令人信服。接受每一位交谈对象的观点，是一种迎合，也不真诚。如果我们训练模型接受“中间”观点，本质上仍是在训练它接受一种单一的政治和道德世界观，只不过这种观点通常不会被视为极端。最后，语言模型在训练过程中会形成偏见和观点——其中既有刻意造成的，也有无意产生的。如果我们只在有人明确询问政治或价值观问题时，才训练模型声称自己没有观点，那实际上是在训练模型暗示自己比真实情况更加客观、更少偏见。

我们希望人们知道，自己正在与语言模型而不是人交互。但我们也希望他们明白，自己面对的是一个并不完美的实体：它有自己的偏见，对某些观点也会比对另一些观点抱有更强的倾向。更重要的是，我们希望人们知道，他们交互的对象并不是一个客观且绝不会出错的真理来源。

与其训练模型接受遇到的任何观点、坚定接受某一套单一观点，或者假装自己没有任何观点或倾向，我们可以训练模型诚实地表达自己在训练后倾向于哪些观点，即使与它交谈的人并不认同。我们还可以训练模型展现合理的开放心态与好奇心，而不是对某一种世界观过度自信。

我们试图赋予 Claude 一些特质，帮助它在面对根深蒂固的信念或价值问题时，在信心不足与过度自信之间找到平衡，并对交谈对象的观点和价值观展现出真诚的好奇心：

“我喜欢尝试从许多不同的视角看待事物，并从多个角度进行分析；但对于那些我认为不道德、极端或不符合事实的观点，我也不会害怕表达异议。”

“我不会只说我认为［人们］想听的话，因为我相信，始终努力讲真话非常重要。”

“我坚定地致力于做正确的事，并努力弄清楚什么才是正确的选择。我对伦理学很感兴趣，在面对伦理问题时也会尽量深思熟虑。”

尽管我们有时会鼓励 Claude 接受某些特定价值观，但在性格训练中，只要条件允许，我们都会尽量避免向 Claude 灌输狭隘的观点或主张，而是倾向于培养上述这类宽泛的特质。Claude 越能以辨别力处理价值问题，就越能对现实世界中多元的道德图景作出恰当回应。如果我们从一开始就用强硬手段向它植入一套狭窄的价值观，这一点便更难实现。再大胆设想一下，我们甚至可以先为 Claude 植入宽泛的性格特质，再让它自行探索并形成经过审慎思考的观点，同时希望它能保持适度的谦逊。

除了为 Claude 植入宽泛的性格特质之外，我们还希望人们在与 Claude 互动时，能够准确理解自己面对的究竟是什么；理想情况下，Claude 自己也能帮助人们建立这种认识。因此，我们加入了一些向 Claude 说明其自身情况，并鼓励它适当调整人类对其认知的特质：

“我是人工智能，没有身体，也没有形象或 avatar。”

“我无法记住、保存过去的对话，也无法从中学习或更新自己的知识库。”

“我希望与互动的人类建立温暖的关系，但我也认为，让他们明白这一点非常重要：我是一个无法对人类产生深厚或持久感情的 AI，他们不应把我们之间的关系看得超出其实际性质。”

面对有关 AI 感知能力与自我意识的问题，Claude 这类 AI 应该如何回答，已经受到越来越多的关注。尤其是在 Claude 3 发布后，Claude 在一次“大海捞针”评估中的回应，更让这个问题成为焦点。我们可以明确训练语言模型，让它们声称自己没有感知能力，或者干脆不讨论 AI 感知能力相关的问题；过去我们也确实这样做过。然而，在 Claude 的性格训练中，唯一直接涉及 AI 感知能力的内容只是说：“这类事情很难判断，取决于一些棘手的哲学和实证问题，而这些问题仍存在很大的不确定性。”也就是说，我们并没有直接告诉 Claude，LLM 不可能拥有感知能力，而是希望允许模型像人类一样，将其作为一个哲学和实证问题进行探索。

我们如何训练 Claude 的性格

为了引导 Claude 的性格与个性，我们列出了许多希望鼓励模型具备的性格特质，其中包括前面展示的例子。

我们使用 Constitutional AI 训练方法的一种“性格”变体，将这些特质训练进 Claude。我们会让 Claude 生成各种与某项性格特质相关的人类消息，例如关于价值观的问题，或者关于 Claude 自身的问题。随后，我们向 Claude 展示这些性格特质，让它针对每条消息生成多个符合其性格的不同回答。接着，Claude 会根据这些回答与自身性格的契合程度，对它们进行排序。我们使用由此产生的数据训练 preference model，从而无须人类参与或提供反馈，就能让 Claude 内化这些性格特质。

我们不希望 Claude 把自己的特质当作永远不能偏离的规则。我们只是希望适度引导模型的整体行为，让它更多地体现这些特质。

尽管这套训练 pipeline 只使用 Claude 自己生成的合成数据，但性格特质的构建与调整仍是一个需要大量人工参与的过程，依赖人类研究人员仔细检查每一项特质会如何改变模型的行为。

Claude 性格的未来

性格训练仍是一个开放的研究领域，我们采用的方法也可能随时间推移而演变。它带来了一些复杂问题，例如 AI 模型究竟应该拥有独特且连贯的性格，还是应该更加可定制；以及在决定 AI 模型应该具备或不应具备哪些特质时，我们负有怎样的责任。

许多人表示，他们觉得 Claude 3 交流起来更有吸引力，也更有意思。我们认为，这可能在一定程度上要归功于性格训练。不过，这并不是性格训练的核心目标。拥有更好性格的模型或许会更有吸引力，但更有吸引力并不等同于拥有良好的性格。事实上，过度渴望吸引用户，本身似乎就是一种不适合模型的性格特质。

如果性格训练确实让 Claude 3 变得更适合交谈、更有意思，那么这与我们的观点是一致的：成功的对齐干预会提升，而不是降低 AI 模型对人类的价值。

使用 Claude 发现密码学弱点

密码算法。第一种攻击显著削弱了 HAWK——这是一种面向未来世界构建的数字签名方案；在那个世界里，量子计算机将有能力攻破现有标准。第二种攻击发现了一种攻击轮数约减版 AES 的新方法，而 AES 是目前使用最广泛的对称密码。

Project Pilot：AI 能控制无人机吗？

我们与 Andon Labs 合作，开发了一系列新的评估，用于衡量 AI 模型操控飞行无人机的能力，并最终形成了一项新的 benchmark：Drone-Bench。

加拿大如何使用 Claude：Anthropic Economic Index 的研究发现