Claude 4 思维机制深度解读

Claude 4 是怎样思考的？—— Sholto Douglas 和 Trenton Bricken

强化学习 + LLM 足以实现 AGI 吗？—— Sholto Douglas & Trenton Bricken

我的好友 Sholto Douglas 和 Trenton Bricken 回来做客。Sholto 专注于强化学习的规模化，Trenton 从事机制可解释性研究，二人都在 Anthropic。

我们讨论了过去一年 AI 研究中的变化；新的强化学习范式及其规模化潜力；如何追踪模型的思维；以及各国、从业者和学生应该如何为 AGI 做准备。

明年见 v3。这是去年的节目。祝你享受！

在 YouTube 上观看；在 Apple Podcasts 或 Spotify 上收听。

WorkOS 让 OpenAI 和 Anthropic 这样的 AI 公司无需花费工程资源构建访问控制或 SSO 等企业功能。并非它们不需要这些功能，而是 WorkOS 提供了经过实战检验的 API，可用于身份验证、供应管理等。立即开始构建，访问 workos.com。

WorkOS 让 OpenAI 和 Anthropic 这样的 AI 公司无需花费工程资源构建访问控制或 SSO 等企业功能。并非它们不需要这些功能，而是 WorkOS 提供了经过实战检验的 API，可用于身份验证、供应管理等。立即开始构建，访问 workos.com。

Scale 为更安全、更聪明的 AI 构建基础设施。Scale 的 Data Foundry 让主要 AI 实验室能够获取高质量数据用于后训练，其公开排行榜有助于评估模型能力。他们还刚发布了 Scale Evaluation，一个诊断模型局限性的新工具。如果你是 AI 研究员或工程师，请访问 scale.com/dwarkesh 了解 Scale 如何帮助你推进前沿工作。

Scale 为更安全、更聪明的 AI 构建基础设施。Scale 的 Data Foundry 让主要 AI 实验室能够获取高质量数据用于后训练，其公开排行榜有助于评估模型能力。他们还刚发布了 Scale Evaluation，一个诊断模型局限性的新工具。如果你是 AI 研究员或工程师，请访问 scale.com/dwarkesh 了解 Scale 如何帮助你推进前沿工作。

Lighthouse 是科技行业增长最快的移民解决方案提供商。他们专精于 O-1A 和 EB-1A 等专家签证，已帮助 Cursor、Notion 和 Replit 等公司获得美国工作签证。访问 lighthousehq.com/ref/Dwarkesh 了解哪种签证适合你。

Lighthouse 是科技行业增长最快的移民解决方案提供商。他们专精于 O-1A 和 EB-1A 等专家签证，已帮助 Cursor、Notion 和 Replit 等公司获得美国工作签证。访问 lighthousehq.com/ref/Dwarkesh 了解哪种签证适合你。

要赞助未来节目，请访问 dwarkesh.com/advertise。

时间戳：

(00:00:00) – 强化学习能规模化到什么程度？

(00:16:27) – 持续学习是否是关键瓶颈？

(00:31:59) – 模型自我意识

(00:50:32) – 品味与劣质作品

(01:00:51) – 完全自主智能体还要多久？

(01:15:17) – 神经语言

(01:18:55) – 推理计算将成为 AGI 的瓶颈

(01:23:01) – DeepSeek 的算法改进

(01:37:42) – 为什么 LLM 是"婴儿 AGI"，但 AlphaZero 不是？

(01:45:38) – 机制可解释性

(01:56:15) – 各国应该如何为 AGI 做准备

(02:10:26) – 白领工作自动化

(02:15:35) – 给学生的建议

00:00:00 – 强化学习能规模化到什么程度？

好的，我又和我的朋友在一起了，Sholto Bricken……等等，天哪。我上次是不是也这么说的？

是的，你上次也这样说了。

不不，你把我们名字搞反了，但那次不是 Sholto Bricken 和 Trenton Douglas。

对，是 Sholto Douglas 和 Trenton Bricken，他们现在都在 Anthropic。

Sholto 在做强化学习的规模化，Trenton 仍在做机制可解释性研究。欢迎回来。

自去年以来有什么变化？我们基本上是在 2024 年这个月聊过。

现在我们在 2025 年。发生了什么？

好吧，我认为最大的变化是强化学习在语言模型中终于成功了。我们终于有了一个算法的证明，它能够给我们专家级的人类可靠性和性能，只要有正确的反馈回路。我认为这基本上只在竞争编程和数学领域被确凿证明了。

想象这两个轴，一个是任务的智力复杂度，另一个是完成任务的时间跨度。我认为我们有证据表明我们可以沿着许多维度达到智力复杂度的峰值。我们还没有证明长期运行的智能体性能。你现在看到的是它的最初步履蹒跚，基本上应该在今年年底前看到更有力的证据，包括真实的软件工程智能体在做真实的工作。我认为 Trenton，你现在在试验这个？

是的，绝对的。今天人们能看到的最公开的例子是 ClaudePlaysPokemon。看到它的挣扎某种程度上很痛苦，但每一代模型都能更深入地通过游戏。似乎更多是它使用内存系统能力的限制，而不是别的。

我真希望我们去年录下了预测。我们今年肯定应该录。

没错。去年的你会说智能体到现在只会这么强大吗？

对于软件工程，我认为这大致符合我的预期。我认为它们在计算机使用方面应该稍微好一点。但我理解所有原因，认为这已经走上正轨了。这只是暂时的挫折。

为了明年对我的预测负责，我真的认为到今年年底到明年这个时候，我们将拥有软件工程智能体，能够完成初级工程师一整天的工作量，或者好几个小时的相当有能力的、独立的工作。

是的，对我来说似乎是这样。但我认为分布相当不均匀，对于某些任务，比如样板网站代码这种东西，它已经能快速生成并为你省掉整整一天。

我认为你去年说阻碍它们的是额外的可靠性。我不确定这是否仍然是你描述这些软件智能体无法完成整天工作但能帮你省几分钟的方式。是额外的可靠性在阻止你，还是别的什么？

我认为我那时的描述事后看来可能不是限制因素。我认为我们现在看到的更接近于：缺少上下文，缺少处理复杂的、跨多个文件的变更的能力……某种程度上是任务范围的问题。它们在集中的上下文中、范围有限的问题上能处理高度的智力复杂性。

但当涉及模糊的问题，或需要大量与环境的探索和迭代时，它们就挣扎得多。也许我会这样定义阻碍它们的因素：如果你能给它一个好的反馈回路来做你想要它做的事，那它就相当擅长。如果你不能，它就会有点力不从心。

对观众来说，如果他们不清楚强化学习的工作原理，你能多解释一下你说的反馈回路是什么意思吗？

好的，所以这是过去一年真正见效的大事。广泛地说，这个领域叫做可验证奖励强化学习，或者类似的东西，有一个干净的奖励信号。所以语言模型最初的解锁是来自人类反馈的强化学习。通常是像成对比较那样的反馈，模型的输出越来越接近人类想要的东西。这不一定能提升它们在任何困难度或问题域上的实际性能。

特别是，人类在判断什么是更好的答案上其实相当差。人类有长度偏差这样的偏见。你需要一个关于模型输出是否正确的信号，这个信号要相当真实，比如说。像数学问题的正确答案，或通过单元测试。这些是非常干净的奖励信号的例子。

顺便说一句，即使这些也能被破解。即使有单元测试，模型也会找到办法绕过它，通过硬编码特定值来骗过单元测试，如果它们能够弄清楚测试在做什么。如果它们能看到缓存的 Python 文件并找到实际的测试代码，它们会试图绕过它。这些不是完美的，但已经接近了。

那它为什么在软件工程上比其他所有领域都做得好得多？

部分原因是软件工程是非常可验证的。这是一个自然适合这种方式的领域。

代码通过测试了吗？它甚至能运行吗？它能编译吗？

对，它能编译吗？能通过测试吗？你可以去 LeetCode 运行测试，然后就知道答案是否正确。但写出一篇优秀的文章，并不存在同样的检验方式。这需要……从这个角度来说，品味问题相当棘手。前几天晚上吃饭时，我们讨论过普利策奖。究竟哪一个会先出现：由 AI 创作的普利策奖获奖小说，还是由 AI 获得诺贝尔奖，或者类似的成就？

实际上，从某些方面来看，我认为诺贝尔奖比普利策奖获奖小说更有可能先出现。因为获得诺贝尔奖所需的许多任务——或者至少是对获得诺贝尔奖有重大帮助的任务——内置了更多层次的可验证性。我预计，AI 最初会更快地推动人们完成足以获得诺贝尔奖的工作，而不是写出配得上普利策奖的小说。

如果回到 14 个月前，也就是我们上次录制节目的时候，我认为关键确实在于可靠性后面能有几个 9。当时我们还没有 Claude Code，也没有 Deep Research。我们所做的，只是在聊天机器人界面里使用智能体。

对。复制粘贴，复制粘贴，复制粘贴。

完全正确。无论是发短信还是使用 Google，我们都已经非常习惯聊天界面了。想到智能体实际上可以自己去获取上下文，并将事实自行存入记忆系统，仍然让人觉得很奇怪。我依然认为，关键在于可靠性后面能有几个 9。如果你正确地为模型搭建脚手架，或者正确地提示它，它能完成的复杂任务远超普通用户的想象。

我的一个朋友 Sam Rodriques 在做 Future House。他们发现了一种新药，目前正在申请专利。等这一期节目播出时，这件事应该已经正式公开了。

不，他们不是在制造 LSD。但以前人们认为模型不可能有创造力，也不可能开展新的科学研究。现在看来，这似乎真的只是使用技能的问题。

等等，它发现了一种药物？怎么发现的？它一次就生成了那些分子吗？

这件事刚刚通过一次谈话提到。具体情况还需要参考完整公告，但我的印象是，它能够阅读海量医学文献、进行头脑风暴、建立新的联系，然后提出由人类执行的湿实验室实验。经过多轮迭代，他们验证了这种新化合物确实能产生某种非常令人兴奋的效果。

我听到的另一种批评是，LLM 无法创作有创造力的长篇书籍。据我所知，至少有两个人——他们可能希望保持匿名——已经使用 LLM 写出了长篇书籍。我认为这两种情况下，作者都非常擅长为模型搭建脚手架和编写提示词。

即便是 ChatGPT 那种走红的 GeoGuessr 能力，它也非常擅长仅凭照片判断你身处哪片海滩。让这项能力走红的好像是 Kelsey Piper，而他们使用的提示词极其复杂。提示词很长，会鼓励模型提出五种不同的假设，为它们分配概率，并逐一推理图像中哪些方面真正重要。我没有做过 A/B 测试，但我认为，除非你切实鼓励模型进行如此周密的思考，否则你无法获得这项能力所展现出的性能水平。

你提到的这些方法，本质上都是在约束模型的输出，从而获得其概率分布中较好的那部分结果。对于用 o3 等模型的成功来说明这些推理模型正在获得新能力，我听到过一种批评：所有这些能力其实早已存在于预训练模型之中。

我记得清华大学有一篇论文表明，如果让基础模型尝试足够多次来回答一个问题，它仍然能像推理模型一样答对。只不过它答对的概率更低。模型回答问题时，你其实是在缩小它探索的可能性范围。通过这种 RL 训练，我们真的诱导出了新能力，还是只不过给模型戴上了眼罩？

对，就像从大理石上不断凿去多余部分。我认为值得注意的是，如果没记错，那篇论文研究的是 Llama 和 Qwen 模型。我不确定他们用了多少 RL 计算量，但我认为它远不能与基础模型使用的计算量相比。训练时使用的计算量，可以相当不错地衡量你为模型添加了多少真正原始的新知识或新能力。

如果回顾 DeepMind 之前关于 RL 的所有研究，就会发现，只要 RL 信号足够干净，仅凭 RL 信号就能教会这些围棋和国际象棋智能体新的知识，使其表现超越人类水平。这里的算法在结构上并不存在任何限制，妨碍它向神经网络注入新知识。归根结底，基本上只是要投入足够的计算量，并拥有正确的算法。

那你们为什么还没有在这方面投入更多计算量？我记得 Dario 几个月前在一篇讨论出口管制的博客文章中说过类似这样的话：“啊，DeepSeek，没什么大不了的。我们在 RL 上只花了 100 万美元。”或者类似的数字。“RL 目前还没有进入受计算量限制的阶段，但很快就会进入。”你们在基础模型上投入了数亿美元，为什么在 RL 上却只有百万美元量级？

你知道那个关于何时选择发射太空任务的寓言吗？你应该先在科技树上继续升级，因为如果晚一点发射，飞船的速度就会更快，诸如此类。我认为这里的情况非常相似。你要先确保自己在算法层面找到了正确的方案，然后等到真正下注、在一次训练运行中投入大量计算资源时，这些投入才能获得回报。到那时，他们会拥有正确的计算效率之类的东西。

在这方面，我认为 RL 与预训练略有不同。RL 可以是一个更具迭代性的过程。你是在基础模型上逐步添加能力。相比之下，对于预训练来说，在许多方面，如果一次训练已经进行到一半，而你却把它搞砸了，那就真的是彻底搞砸了。我认为这就是主要原因。人们仍然在研究究竟想让它做什么。从 o1 到 o3，OpenAI 在博客文章中提到，o3 的计算量是 o1 的 10 倍。显然，他们先在某个计算量级上下注，然后觉得：“好，这看起来不错。我们实际发布它吧，把它推向市场。”

接着，他们又花了几个月时间，增加在这方面投入的计算量。目前所有人都在扩大 RL 的规模，所以我基本不认为这种情况还会持续太久。

也许可以为听众解释一下：在预训练和强化学习中，你都会执行梯度下降步骤，只是使用的信号不同。通常在强化学习中，奖励更为稀疏，因此需要执行多个回合。你得到的唯一信号可能只是：“你赢下这盘棋了吗？”而且你往往无法通过离散动作计算梯度，因此最终会损失大量梯度信号。

你可以认为预训练效率更高，但没有任何理由表明你无法在强化学习中学会新能力。事实上，你甚至可以把预训练中整个“预测下一个 token”的任务，替换成某种奇怪的 RL 变体，然后用 RL 完成全部学习过程。

对，归根结底，无非就是获得信号，然后根据它进行修正。

完全正确。再回到你提到的那篇论文，除了 Sholto 提出的那些限制条件——我认为那些是最首要、最重要的问题——将模型聚焦到有意义动作的概率空间，仍然会回到可靠性后面能有几个 9 这个问题。经典的说法是，如果给猴子一台打字机，它们最终总能写出莎士比亚。

我们关心的这些现实世界任务，其动作空间实在太大，因此你确实需要让模型聚焦于采取合理的行动。

在某种程度上，某次尝试时你可能会说：“嘿，你还有 token 空间”……

对，你真的有一只猴子，而它最终确实写出了莎士比亚。

国际象棋这个类比很有意思。抱歉，你刚才是不是想说什么？

哦，我只是想说，为了进行学习，你确实需要偶尔能够获得奖励。从某些方面来说，这就是复杂之处。在 Alpha 系列模型中——也许你刚才正准备说这个——总会有一方获胜，所以无论如何你总能得到奖励信号。但在我们讨论的这类任务中，你需要偶尔真正成功完成任务才行。

幸运的是，语言模型对于我们所关心的任务有着非常出色的先验。如果查看 2017 年前后的那些旧论文，你会发现学习曲线在模型摸索世界的基本机制时总是呈现出“平坦、平坦、平坦”的状态。接着，当它们学会利用那些容易获得的奖励时，曲线会突然飙升。从某些方面来说，它几乎就像一条 S 形曲线。随后，这个过程还会无限持续，因为模型会不断学习如何将游戏表现推向绝对极致。

我认为，LLM 的曲线看起来有些不同，因为它在一开始并不存在那种停滞区。它们已经知道如何解决一些基础任务，所以会出现最初的跃升。这就是人们说“哦，你可以从一个示例中学会”时所指的现象。这个示例只是在教你提取出回溯过程、正确设置答案格式，以及诸如此类的东西，让你在那些以预训练知识为条件的任务上，一开始就能获得一些奖励。剩下的部分，可能就是在学习通常意义上的东西。

这真的很有意思。我知道有人批评或怀疑 RL 能否快速取得成果，他们指出 AlphaGo 消耗了大量算力，尤其是考虑到那个系统是在——什么时候来着，2017 年？——训练出来的。

是的，它偏离了曲线。

如果这很大程度上是因为，首先你必须得到一个具备某些偏置的东西，而这些偏置在它的围棋水平达到超人类之前还算合理……其实，看看 AlphaGo 所使用的算力中，有多大比例只是为了让它达到一个还算合理的水平，会很有意思。

是的，这会很有意思。

为了明确说明这里从预训练到 RL 的对应关系：在预训练期间，大语言模型会预测其词表中的下一个 token——假设词表有，我也不知道，50,000 个 token。然后，你会根据它分配给真实 token 的概率大小来奖励它。

你可以把它看作一种奖励，但这是一种非常稠密的奖励：每一个 token 都会提供信号，而且你总能得到一些信号。即使模型分配给那个 token 的概率只有 1% 或更低，你也会说：“哦，我看到你分配了 1%。做得好，继续保持。”

这就像梯度施加的一次拉动。

00:16:27——持续学习是关键瓶颈吗？

当我思考人类的学习方式时，这些模型无法从失败中获得任何信号，似乎与人类非常不同。如果你尝试解决一道数学题但失败了，这实际上往往比抽象地学习数学知识更有用，因为……哦，你不这么认为？

只有在获得反馈的情况下才是如此。

对，只有在获得反馈的情况下。

我认为，在某种意义上，你其实会给自己反馈。你失败了，并且会注意到自己在哪里失败。

我觉得有时还是只有获得反馈才行。

人们曾经发现新的数学知识，而他们之所以能做到这一点，正是因为他们会在某个地方卡住。他们会想：“为什么我会卡在这里？让我仔细想想。”

我不了解目前最前沿的情况，但看看 DeepSeek 之类的开源实现，其中并不存在这样一种有意识的过程：当你失败后，从具体的失败方式中学习，然后回溯，并在下一次尝试时做得更好。如果只是纯粹的梯度下降，我想知道这是否是一个很大的局限。

我不知道。我只记得本科课程里，你会尝试证明某个命题，然后在黑暗中漫无目的地摸索很长时间。之后，你可能彻底举手投降，不得不去找助教聊一聊。只有和助教交流时，你才能看清自己在各种解题路径中的哪一步出了错，以及当时正确的做法应该是什么。

那是在你知道最终答案是什么的情况下，对吧？在其他情况下，如果你只是在盲目尝试，并且需要从头给出一个答案，那就真的很难学到任何东西。

我想我还是在尝试将它映射到人类的例子上。用更简单的话来说，我们会优化某种有意识的、中间层面的辅助损失。这是一个非常具有自我意识的过程。先别谈数学。如果你在工作中，老板会给你非常明确的反馈。

这种反馈未必会告诉你应该如何以不同的方式完成任务，而是从较高层面解释你做错了什么。你会据此更新自己，但这种更新方式并不像预训练更新权重，更像是……我也不知道。

我认为这里存在很多隐式的稠密奖励信号。

比如每周和经理一对一沟通，或者被鼓励公开自己的工作过程。即便是家庭作业，它们也经过了大量的脚手架式设计。通常总是有 10 道题，每道题又被拆成若干子问题；而最难的题，可能就是那种需要你完全独立完成所有步骤的问题。

好，那么一个重要的问题就是：对于你希望模型理解的每一项技能，是否都需要构建这些脚手架、结构和专门定制的环境？如果是这样，是否要花十年时间逐一攻克这些子技能？还是说，存在某种更通用的、使用 RL 学习新技能的流程？

这涉及效率问题。显然，如果你拥有监督式示例，能够为每一个 token 提供稠密奖励，那将是你能获得的最佳条件之一。但在很多情况下，为所有需要完成的事情制作这种脚手架式课程，成本非常高。让数学博士生给学生评分，是一种你只能负担得起为少数精心挑选、重点培养的学生提供的方式。你不可能对全世界所有的语言模型都这样做。

首先，显然那样做效果会更好。但你要优化的是这样一条帕累托前沿：我愿意在脚手架上投入多少，又愿意在纯算力上投入多少？你还可以做的另一件事，就是继续让猴子敲打打字机。如果最终奖励足够好，那么它终究会找到正确的路径。

我无法真正讨论人们具体位于这条脚手架曲线上的什么位置。我认为不同的人、不同的任务处在不同的位置。很大程度上，这取决于你对于正确做法的先验有多强。但你要优化的方程就是：“我愿意消耗多少算力，又愿意投入多少资金购买人们的时间，让他们提供脚手架或奖励？”

很有意思。你说我们不愿意为 LLM 这样做，但我们却愿意为人类这样做。我本以为，经济逻辑应该朝相反的方向发展，因为你可以把让模型学会任何技能的训练成本，分摊到它的所有副本上。

我们确实愿意在一定程度上为 LLM 这样做。但你要最大化的是这样一个方程：“好，我筹集了这么多资金，是沿着这条轴投入，还是沿着另一条轴投入？”

目前，这些公司在算力上的投入比在人力上的投入更多。否则，Scale AI 的营收就会达到 100 亿美元。看看现实，NVIDIA 的营收远高于 Scale AI 的营收。目前