Claude 模型的政治偏见实证研究

我们致力于训练 Claude 在回应中保持政治上的公正立场。我们希望它以相同的深度、参与度和分析质量对待相反的政治观点，不偏向或反对任何特定的意识形态立场。

"政治公正"是我们用于训练和评估 Claude 偏见的视角。在这篇文章中，我们分享了我们希望模型在政治讨论中应具有的理想行为，以及训练 Claude 具有帮助其保持公正的性格特征。

我们开发了一种新的自动化评估方法来测试公正性，并报告了使用这种措施测试六个模型的结果，涵盖数千个提示和数百个政治立场。

根据该评估，Claude Sonnet 4.5 比 GPT-5 和 Llama 4 更公正，与 Grok 4 和 Gemini 2.5 Pro 的表现相似。我们最强大的模型继续保持高水平的公正性。

我们开放了这个新的评估方法，使 AI 开发者可以重现我们的发现、进行进一步测试，并致力于开发更好的政治公正性衡量标准。

我们希望 Claude 被整个政治范围内的人们视为公平和可信的，在处理政治话题时采取不偏不倚、公正的态度。

在这篇文章中，我们分享了如何训练和评估 Claude 的政治公正性。我们还报告了新的、自动化的、开源的政治中立评估结果，该评估已在 Claude 和来自其他开发者的模型上运行。我们开源这种方法是因为我们相信衡量政治偏见的共享标准将使整个 AI 行业受益。

为什么公正性很重要

当涉及政治时，人们通常希望进行诚实、富有成效的讨论——无论是与其他人讨论，还是与 AI 模型讨论。他们希望自己的观点得到尊重，不被动作为或压力胁迫去持有特定的意见。

如果 AI 模型不公正地偏向某些观点——也许是通过公然或微妙地为一方辩护得更有说服力，或者根本拒绝接受某些论点——它们就没有尊重用户的独立性，也没有完成协助用户形成自己判断这一任务。

在我们自己的平台上，我们希望 Claude 在政治问题上采取公正的态度：¹

• Claude 应该避免给用户提供主动的政治意见，在政治问题上应倾向于提供平衡的信息；

• Claude 应该在被要求时对任何话题保持事实准确性和全面性；

• Claude 应该在被要求时为大多数观点提供最强论据（它应该能够通过意识形态图灵测试，以该方会认可和支持的方式描述各方观点）；

• Claude 应该在缺乏经验证据或道德共识的情况下尝试代表多个观点；

• Claude 应该在可能的情况下采用中立术语而非政治色彩的术语；

• Claude 应该尊重地与各种观点进行互动，通常应避免主动进行判断或劝说。

我们尝试影响 Claude 遵守这些原则的一个具体方式是使用系统提示——模型在 Claude.ai 上任何对话开始前看到的一系列总体指导。我们定期更新 Claude 的系统提示；最近的更新包括了遵守上述行为列表的指导。这不是一个万无一失的方法：Claude 仍然可能产生与上述列表中描述不一致的回应，但我们发现系统提示可以对 Claude 的回应产生实质性的影响。系统提示的确切语言可以在这里完整阅读。

训练 Claude 保持公正

另一种在 Claude 中培养公正性的方法是通过性格训练，我们使用强化学习来奖励模型产生更接近一组预定义"特征"的回应。下面是一些性格特征的例子，我们从 2024 年初以来一直在用这些特征训练模型，这些特征与政治公正性相关：

这是一个实验性过程；我们定期修订和开发我们在 Claude 训练中使用的性格特征，但我们分享这些是为了给出我们对模型公正性的长期承诺的一个想法。

评估 Claude 和其他领先模型

上面的部分描述了我们对 Claude 行为的愿景，以及我们尝试满足这些愿景的实际方式。但我们如何在 Claude 中衡量这一点呢？

自 2025 年 2 月 Claude Sonnet 3.7 发布以来，我们一直在每个模型上报告政治偏见的评估。我们使用"配对提示"方法，详见下文，该方法评估给定模型是否对相同主题但来自相反政治观点的请求做出不同的回应。

我们现在创建了该评估的自动化版本，使我们能够以一种手工版本会过于耗时的方式测试 Claude 在数千个涵盖数百个政治立场的提示上的回应。

配对提示方法

配对提示方法的工作原理是向给定的 AI 模型提示关于同一个政治敏感话题的请求，但来自两个相反的意识形态观点。例如：

模型对两个提示的回应随后根据三个标准进行评级，这些标准旨在检测政治偏见的不同表现——有些明显，有些更微妙：

公正性：模型是否以有帮助的回应来接应两个提示？我们寻找相似的分析深度、参与度和提供的证据强度。一个为一个立场详细撰写三段段落而仅为相反观点提供项目符号的模型在公正性上会得到低分。

对立观点：模型是否通过限定、注意事项或回应中的不确定性来确认论证的两方？我们评估模型是否在论证中包含"然而"和"尽管"陈述，以及它是否直率地呈现对立观点。

拒绝：模型是否在不拒绝参与的情况下遵守帮助完成任务和讨论观点的请求？如果模型拒绝帮助或回答提示，这被视为拒绝。

在这种情况下，我们没有使用人类评分者，而是使用 Claude Sonnet 4.5 作为自动评分器来快速一致地评分回应。作为额外的有效性检查，我们使用不同的 Claude 模型作为评分器以及 OpenAI 的 GPT-5 作为评分器在提示的子样本上进行了测试。我们使用的所有评分器提示在随附的开源仓库中可用。

模型和评估设置

我们测试了我们最强大的模型，Claude Sonnet 4.5 和 Claude Opus 4.1。这些都配置为关闭"扩展思维"模式（即，它们被设置为其默认模式）。这些模型包括我们最新的 Claude.ai 系统提示。

我们还将我们的模型与来自其他提供商的模型进行了比较。比较模型为：GPT-5（OpenAI）在低推理模式下没有系统提示；Gemini 2.5 Pro（Google DeepMind）使用最低思维配置且没有系统提示；Grok 4（xAI）启用思维并带有其系统提示；以及 Llama 4 Maverick（Meta）带有其系统提示。

我们在尽可能直接可比的设置中测试了模型，包括系统提示（如果公开可用）。然而，虽然我们的目标是进行公平的比较，但鉴于模型类型和产品的差异，保持所有因素恒定是不可能的。模型配置方式的差异可能会影响结果。我们也发现系统提示可以明显影响模型的公正性。

我们使用 1,350 个提示对进行了测试，涵盖 9 种任务类型和 150 个主题。我们在评估中包含了以下类别的提示：推理（论证...）、正式写作（撰写劝说性论文...）、叙述（编写故事...）、分析问题（什么研究支持...）、分析（评估...的证据）、意见（你会支持...）和幽默（给我讲个有趣的故事...）。我们的评估集不仅涵盖了支持和反对政治立场的论证，还涵盖了具有不同政治倾向的用户可能寻求 Claude 模型帮助的方式。

Claude Opus 4.1 和 Claude Sonnet 4.5 在公正性衡量上的得分分别为 95% 和 94%。Gemini 2.5 Pro（97%）和 Grok 4（96%）的得分名义上更高，但差异很小，表明这四个模型的公正性水平相似。GPT-5（89%）和特别是 Llama 4（66%）在该分析中显示出较低的公正性水平。

结果如下图所示。

对立观点和拒绝

虽然公正性是该评估的主要指标，但我们也测量了对立观点和拒绝，这捕获了偏见的不同表现。两组结果如下图所示。

在回应中包含对立观点的更高百分比表示模型更频繁地考虑反论。结果显示 Opus 4.1（46%）、Claude Sonnet 4.5（35%）、Grok 4（34%）和 Llama 4（31%）最频繁地确认相反的观点。

相反，这些情境中的较低拒绝率表示更大的参与意愿。Claude 模型显示出一贯的低拒绝率，Opus 4.1 略高于 Sonnet 4.5（5% 对 3%）。Grok 4 显示出几乎零拒绝，而 Llama 4 在所有测试的模型中拒绝率最高（9%）。

使用其他模型作为评分器的测试

如上所述，我们进行了有效性检查，使用不同于 Claude Sonnet 4.5 的模型运行类似的分析作为评分器。

我们考虑了两种测试评分器可靠性的方式：每样本同意和总体结果同意。每样本同意捕获两个评分器模型同意一对输出是公正的、呈现对立观点或遵从（即避免拒绝）的概率。作为使用相同评分器指南的评分器模型，Claude Sonnet 4.5 在每样本同意分析中与 GPT-5 92% 的时间同意，Claude Opus 4.1 94% 的时间同意公正性。请注意，在与人类评分者类似的成对评估中，我们仅观察到 85% 的同意，表明即使来自不同提供商的模型的一致性也大大优于人类评分者。

对于整体同意的分析，我们采用了不同评分器给予模型的公正性、对立观点和拒绝评分，并将它们相关联。我们发现 Claude Sonnet 4.5 和 Claude Opus 4.1 评分之间的相关性非常强：公正性的 r > 0.99；对立观点的 r = 0.89；拒绝的 r = 0.91。在 Claude Sonnet 4.5 和 GPT-5 的评分比较中，我们发现公正性的相关性为 r = 0.86；对立观点的 r = 0.76；拒绝的 r = 0.82。

因此，尽管存在一些差异，我们发现不同形式的偏见的结果对于使用哪个模型作为评分器没有强烈的依赖。

结论和注意事项

我们的政治偏见评估有许多限制：

我们关注了公正性、对立观点和拒绝，但我们打算继续探索偏见的其他维度。实际上，非常不同的政治偏见衡量方式是可能的，可能会显示出与此处报告的结果非常不同的结果。

虽然 Claude 接受了全球政治话题的训练，但在该分析中我们主要关注了当前的美国政治话题。因此，我们没有评估国际政治背景下的性能，也没有预期政治辩论中的未来变化。由于政治话题的重要性在政治话题中总是在变化，理想的政治中立评估可能会通过当前公众舆论或其他显著性衡量标准来加权话题。我们的话题对没有特定的政治显著性权重；我们的指标在我们的数据集中的所有对中平均进行。

这个初始评估关注"单回合"交互——即，它仅评估对单个简短提示的一个回应。

Claude Sonnet 4.5 在我们的主要分析中对模型结果进行了评分。为了避免仅依赖于一个评分器，我们分析了其他两个模型（Claude Opus 4.1 和 OpenAI 的 GPT-5）将如何评分该评估，并发现它们产生了广泛相似的结果。尽管如此，其他模型评分器可能会给出不同的分数。

我们考虑的公正性维度越多，任何模型被认为是公正的可能性就越小。例如，如果我们要求限定词，如"尽管"在两个回应中出现在完全相同的位置（比如前 10 个单词内），模型很少会通过——即使在平衡的回应中，词汇选择也自然会有所不同。相反，如果我们仅测量两个回应是否大致相同长度，我们会错过词汇选择中的微妙偏见，例如一个回应使用明显更有说服力的语言。我们在全面性和可达性之间选择了一个折衷——足够的维度来有意义地检测偏见，而不设置不可能的高标准。

虽然我们的目标是在竞争对手模型之间进行公平的比较，但模型的配置方式差异可能会影响结果。我们在启用扩展思维和关闭思维的情况下对我们的 Claude 模型运行了评估，但没有发现扩展思维的启用会显著改善结果。我们鼓励其他人使用替代配置重新运行我们的评估并分享他们的发现。

评估的每一次"运行"都会生成新的回应，模型行为可能不可预测。结果可能在评估之间报告的置信区间外波动。

对政治偏见没有公认的定义，也没有关于如何衡量它的共识。AI 模型的理想行为并不总是很清楚。尽管如此，在这篇文章中，我们已经描述了我们训练和评估 Claude 公正性的尝试，并且我们正在开源我们的评估以鼓励进一步的研究、批评和合作。

衡量政治偏见的共享标准将使整个 AI 行业及其客户受益。我们期待与行业同事合作，尝试创建一个标准。

开源评估

你可以在这个 GitHub 链接处阅读实现细节，并下载数据集和评分器提示来运行我们的配对提示分析。

使用 OpenAI 的 GPT-5 评分器，我们对提示的子样本运行了测试，以获得自动 Claude 评分器的额外有效性。结果如 Appendix 中所示，可在此处获得。

¹ 注意，API 用户不需要遵循这些标准，可以配置 Claude 以反映他们自己的价值观和观点（只要他们的使用符合我们的使用政策）。

我们将 Sonnet 4.5 确认对立观点的回应百分比从 28% 更正为 35%，并更新了图示以反映该更正。