Karpathy 的 LLM 年度观点总结

1. 可验证奖励强化学习（RLVR）

2025 年初，所有实验室里的 LLM 生产技术栈大致如下：

预训练（约 2020 年的 GPT-2/3）

监督微调（约 2022 年的 InstructGPT）

以及基于人类反馈的强化学习（约 2022 年的 RLHF）

在相当长的一段时间里，这都是训练生产级 LLM 的稳定、成熟方案。到了 2025 年，可验证奖励强化学习（Reinforcement Learning from Verifiable Rewards，RLVR）成为事实上的新一代核心训练阶段，被加入这套流程。

通过让 LLM 在多种环境中接受自动可验证奖励的训练——比如数学题和编程谜题——LLM 会自发形成在人类看来类似“推理”的策略：它们学会把问题拆解为一系列中间计算步骤，也学会使用多种来回探索的问题解决策略，逐步找出答案（相关示例参见 DeepSeek R1 论文）。

在此前的训练范式中，这些策略很难实现，因为我们并不清楚，对 LLM 而言，最优的推理轨迹和出错后的恢复方式究竟是什么。它必须通过针对奖励进行优化，自己找出真正有效的方法。

SFT 和 RLHF 都是相对轻量、短暂的训练阶段——从计算量上看，只是规模较小的微调。与之不同，RLVR 针对客观且无法投机取巧的奖励函数进行训练，因此可以持续优化更长时间。事实证明，运行 RLVR 能以很高的性价比提升模型能力，于是，它吞掉了原本计划用于预训练的算力。

因此，2025 年的大部分能力进展，都来自各家 LLM 实验室逐渐消化这个新增训练阶段带来的潜力。总体来看，我们得到的 LLM 规模与过去大致相当，但 RL 训练时间长了许多。

这个新阶段还有一个独有之处：我们获得了一个全新的调节旋钮，以及与之对应的 scaling law。通过生成更长的推理轨迹、增加“思考时间”，我们可以根据测试时计算量来控制模型能力。OpenAI o1（2024 年末）是 RLVR 模型的首次展示，但真正让人凭直觉就能感受到差异的明显拐点，是 o3（2025 年初）的发布。

2. 幽灵与动物 / 锯齿状智能

到了 2025 年，我——我想整个行业也是如此——第一次开始以更直观的方式理解 LLM 智能的“形状”。

我们不是在“进化或培育动物”，而是在“召唤幽灵”。

LLM 技术栈的方方面面都与人类不同，包括神经网络架构、训练数据、训练算法，尤其是优化压力。因此，我们在智能空间中得到完全不同的实体，一点也不奇怪；用理解动物的视角去理解它们并不合适。

从监督信号所包含的信息来看，人类神经网络的优化目标，是让部落能够在丛林中生存；而 LLM 神经网络的优化目标，是模仿人类文本、在数学谜题中获取奖励，以及在人类参与的 LM Arena 上赢得点赞。

由于可验证领域支持 RLVR，LLM 在这些领域附近的能力会突然“冒尖”，并在整体上呈现出颇为有趣的锯齿状性能特征：它可以同时是一位天才般的博学家，又是一名迷茫且认知能力受限的小学生；前一秒还无所不知，后一秒就可能被某个 jailbreak 诱骗，泄露你的数据。

（人类智能：蓝色，AI 智能：红色。我喜欢这个版本的梗图，因为它指出，人类智能也以自己独特的方式呈现出锯齿状。很抱歉，我已经找不到它最初发布在 X 上的帖子了。）

与此相关的是，到了 2025 年，我对 benchmark 普遍变得漠不关心，也不再信任它们。核心问题在于：从构造方式来看，benchmark 几乎都是可验证环境，因此很容易立刻受到 RLVR 的影响，或者受到通过合成数据生成实现的较弱版本影响。

在典型的“刷榜”过程中，LLM 实验室的团队不可避免地会围绕 benchmark 在 embedding 空间中占据的一个个小区域，构造与之相邻的环境，然后培育出锯齿状的能力突起，把这些区域覆盖掉。在测试集上训练，已经成了一门新的艺术。

如果模型碾压了所有 benchmark，却依然没有实现 AGI，这会是什么样子？

关于本节主题，我在这里写过更多内容。

3. Cursor / LLM 应用的新层级

在我看来，Cursor 最值得关注的地方——除了它今年的惊人崛起之外——是它令人信服地揭示了“LLM 应用”的一个新层级。人们开始谈论“某某领域的 Cursor”。

正如我今年在 Y Combinator 演讲中强调的那样（有文字稿和视频），Cursor 这类 LLM 应用会针对特定垂直领域，对 LLM 调用进行封装和编排：

• 它们负责“context engineering”。

• 它们在底层编排多次 LLM 调用，把这些调用串联成越来越复杂的 DAG，并仔细权衡性能与成本。

• 它们为参与其中的人类提供针对具体应用设计的 GUI。

• 它们提供一个“自主性滑块”。

2025 年，人们花了大量时间讨论这个新应用层究竟会有多“厚”。LLM 实验室会不会吞下所有应用？LLM 应用是否还拥有尚待开垦的广阔空间？

我个人认为，LLM 实验室的发展方向，是培养出具备通用能力的大学毕业生；而 LLM 应用则会组织、微调这些“毕业生”，并真正让它们组成团队投入工作。通过为它们提供私有数据、传感器、执行器和反馈循环，LLM 应用会把它们塑造成部署于特定垂直领域的专业人士。

4. Claude Code / 生活在你电脑里的 AI

Claude Code（CC）成为第一个令人信服的 LLM Agent 示例：它以循环的方式将工具使用和推理串联起来，持续解决耗时较长的问题。

除此之外，CC 在我看来还有一个值得注意的地方：它运行在你的电脑上，使用你的私有环境、数据和上下文。我认为 OpenAI 在这件事上走错了方向，因为它早期在 codex / Agent 上的工作，重点放在通过 ChatGPT 编排、部署到云端容器里的方案，而不是简单地运行在 localhost 上。

虽然在云端运行 Agent swarm 感觉像是“AGI 的终局”，但我们生活在一个能力呈锯齿状分布、起飞速度也足够缓慢的过渡世界里。因此，让 Agent 直接运行在开发者的电脑上更加合理。

需要注意的是，真正重要的首要区别，并不在于“AI 运算”具体在哪里执行——云端、本地或其他地方都可以——而在于其余一切：那台已经存在并启动的电脑、电脑里安装的软件、上下文、数据、密钥、配置，以及低延迟交互。

Anthropic 正确判断了这些因素的优先级，并把 CC 封装成一种令人愉悦且极为简洁的 CLI 形态，从而改变了 AI 的存在方式：它不再只是一个像 Google 那样需要打开的网站，而是一个“生活”在你电脑里的小精灵或幽灵。这是一种全新且独立的 AI 交互范式。

2025 年，AI 跨过了一个关键的能力门槛：人们只需要使用英语，就能构建各种令人印象深刻的程序，甚至可以忘记代码本身的存在。

颇有意思的是，我在一条随想式的推文里创造了“vibe coding”这个词，当时完全没有意识到它最终会传播得这么远 :)

借助 vibe coding，编程不再是受过高度专业训练的人才能从事的工作，而是任何人都能做的事情。从这个角度看，它又一次印证了我在《Power to the people: How LLMs flip the script on technology diffusion》中写过的观点：与此前所有技术形成鲜明对比的是，普通人从 LLM 中获得的收益，远远超过专业人士、企业和政府。

但 vibe coding 不只是让普通人拥有了接触编程的能力。它也让受过训练的专业人士可以编写数量多得多的软件——这些通过 vibe coding 产生的软件，如果没有这种能力，原本根本不会被写出来。

在 nanochat 项目中，我通过 vibe coding，用 Rust 编写了一个高度优化的自定义 BPE tokenizer，而不必采用现有库，也不必把 Rust 学到那种程度。

今年，我还通过 vibe coding 完成了许多项目，把自己希望存在的东西快速做成应用 Demo，例如 menugen、llm-council、reader3 和 HN time capsule。

我甚至会通过 vibe coding 写出完整的一次性应用，只为找出一个 bug。为什么不呢？代码突然变得免费、临时、可塑，并且用过一次就可以丢弃。

Vibe coding 将重塑软件世界，也将改变各种职位的工作内容。

6. Nano banana / LLM GUI

Google Gemini Nano banana 是 2025 年最不可思议、最具范式转移意义的模型之一。

在我的世界观中，LLM 是继 20 世纪 70 年代、80 年代的计算机之后，下一个重要的计算范式。因此，出于本质上相似的原因，我们也将看到相似类型的创新。我们会看到个人计算、微控制器（认知核心）、互联网（Agent 组成的互联网）等事物在 LLM 时代的对应形态，诸如此类。

尤其是在 UIUX 方面，与 LLM“聊天”，有点像在 20 世纪 80 年代通过计算机控制台输入命令。文本是计算机和 LLM 原始且偏好的数据表示形式，但它并不是人类偏好的形式，尤其不适合作为输入方式。

人们其实不喜欢阅读文本，因为阅读既缓慢又费力。相比之下，人们更喜欢以视觉化、空间化的方式获取信息，这正是传统计算领域发明 GUI 的原因。

同样，LLM 也应该使用我们偏好的形式与我们交流：图片、信息图、幻灯片、白板、动画或视频、Web 应用，等等。

当然，这种形态早期乃至当前的版本，就是 emoji 和 Markdown。它们通过标题、粗体、斜体、列表、表格等方式“装饰”文本，并以视觉化形式进行排版，让人更容易理解和吸收。

但究竟由谁来构建 LLM GUI？

按照这种世界观，nano banana 首次让我们隐约看到了它可能的样子。更重要的是，它一个值得注意的方面在于：关键并不只是图像生成本身，而是文本生成、图像生成和世界知识共同产生的综合能力——所有这些能力都交织在模型权重之中。

TLDR：2025 年是 LLM 领域令人兴奋、也有些出人意料的一年。LLM 正逐渐成为一种全新的智能形态：它们同时比我预期的聪明得多，也比我预期的愚蠢得多。

无论如何，它们都极其有用。而且我认为，即使只看它们目前已经具备的能力，整个行业发掘出的潜力也远远不到 10%。

与此同时，还有太多想法值得尝试。从概念层面看，整个领域依然是一片广阔天地。

正如我今年早些时候在 Dwarkesh 的播客中提到的那样，我同时相信两件表面上相互矛盾的事：我们将继续看到快速且持续的进步，而前方依然有大量工作要做。

系好安全带。