LLM 白日梦现象的深度分析

神经科学、RL 探索

探讨并提出：LLM 的默认模式网络，是当代 AI 系统在搜索与新颖性方面缺失能力的一个例子。

缺失的能力　持续学习　持续思考

假设：白日梦循环　白日梦循环与 LLM 的类比

白日梦循环与 LLM 的类比

障碍与开放问题

尽管大型语言模型展现出了令人惊叹的能力，却仍未取得真正意义上的重大突破。令人困惑的是：为什么？

一个可能的原因是，它们缺少人类思维的某些基本要素：它们被冻结了，无法从经验中学习；它们也没有用于后台处理的“默认模式”，而这种模式正是人类自发产生洞见的来源。

为了说明这个问题，我会描述这类洞见，并给出一种白日梦循环（day-dreaming loop，DDL）的具体算法示例：一个持续从记忆中抽取成对概念的后台进程。生成模型探索二者之间并不显而易见的联系，批评模型则对结果进行筛选，只保留真正有价值的想法。这些发现会被重新写入系统的记忆，形成一个不断复利的反馈循环：新想法本身又会成为未来组合的种子。

考虑到真正新颖的联系命中率很低，这一过程的成本——一种“白日梦税”——会相当可观。然而，这笔开销或许正是创新必须付出的代价。它还会形成一道抵御模型蒸馏的护城河，因为有价值的洞见来自那些没人知道该如何提问才能得到的组合。

这在战略上导向了一个反直觉的结论：为了让最终用户使用的 AI 更便宜、更快速，我们也许首先需要构建这样一种系统——把绝大多数算力都花在看似“浪费”的后台搜索上。这意味着，未来昂贵且会做白日梦的 AI，可能主要用于为下一代高效模型生成专有训练数据，从而提供一条绕过迫在眉睫的“数据墙”的路径。

Dwarkesh Patel 问道：为什么无论知识多么浩瀚、benchmark 分数多么高，似乎从来没有任何 LLM 做出过重大突破或产生过出人意料的洞见？从定义上说，这类成果当然极其罕见；但自 ChatGPT 于 2022 年 11 月发布以来，聊天机器人式的当代 LLM 已经被数千万人用于严肃工作。照理说，到了现在，至少应该出现过一些例子。这确实是个谜：只要给出恰当的提示，这些模型便能以某种方式综合信息，让人感觉它们离真正的洞见只有一步之遥；智能所需的原始组件似乎已经齐备；然而……它们就是做不到。究竟缺了什么？

这个问题很难回答，因为 LLM 与人类研究者之间存在太多差异。

被冻结的 NN 是失忆者。一个显著差异是，LLM 是“冻结”的，不允许发生改变；它们并非必须如此，也可以动态训练（例如采用由来已久的 dynamic evaluation 技术），但现实中的 LLM 并没有这样做。

因此，这或许正是它们难以超越最初猜测或显而易见答案、无法产生真正新颖洞见的原因——从一种非常真实的意义上说，LLM 没有学习能力。它们确实患有失忆症。而据我所知，纵观整个人类历史，也没有任何顺行性遗忘症患者创造出重大新事物的案例。

这一点本身或许就足以解释问题：它们受困于自己的先验知识，无法远远超越已有认知；但按照定义，已有认知中的一切，要么已经为人所知，要么已接近被人知晓，因此不可能新颖到令人惊叹。

……当我终于理解 Picasso 对我说的那句话是什么意思时，我感觉自己正在一点点啃食这个世界的边缘。后来谈到那些巨大的新型机械大脑或计算机器时，他一本正经地说：

“但它们毫无用处。它们只能给你答案。”

William Fifield，《Pablo Picasso—A Composite Interview》（1964）

但另一个值得注意的差异在于，人类研究者从未停止思考。我们的持续学习不仅针对外部观察，也针对自己的思维——即使在睡眠中，人类仍在进行计算和处理。（这有助于解释为什么即便一个“什么也没做”的大脑，也有惊人的代谢需求——它实际上仍在处理大量工作！尽管用力思考在主观上可能很累，但从生物学角度来看，这点消耗微不足道。）

有关科学与创造力的研究强调，时间和睡眠有助于产生孵化效应之类的现象；一些研究者也曾因从梦中突然获得洞见而闻名。我们所有人都体验过某个念头突然闯入意识：它可能只是一个无聊的双关语（“你可以在 Kohl’s 买到 kohl，LOL”）；可能是一句晚了几个小时才想到的机智回击；可能是一个怎么都想不起来、最终突然浮现的词；可能像侵入性思维一样，突然想起某件令人焦虑的事（“我真的把炉子关了吗？”）；也可能是人一生才会遇到一次的绝妙想法。（不妨第一次冥想时，把脑海中不断冒出的所有念头都记录下来，直到它们终于停止；你可能既惊讶又沮丧！）

这些突然涌现的念头，往往与我们当前正在思考的事情毫无关系，甚至与几十年来想过的任何事情都无关（“等等——当年大学派对上，那个女孩看着我的手——她当时是在勾引我，对吧？”）。事实上，这篇文章本身就是这种念头突然涌现的产物——“LLM 中与默认模式网络对应的东西是什么？嗯，它可以类似 Jones 2021 描述的东西，不是吗？”——这与我当时正在写的内容（电子游戏美学）毫无关系。

那么……这种思考究竟发生在何处、何时，又以何种方式发生？

显然，它并不是在意识层面发生的。它也并非出于自愿：在某个晦涩、随机的话题真正浮现之前，你根本不知道它正在脑海里翻涌；等你意识到时，一切已经发生了。

这也是一种普遍现象：对于你学过的几乎任何主题，这类念头似乎都可能自发出现。这个过程看起来很难被耗尽——经历了一辈子，我脑海中冒出这类念头的频率依然没有变化；也很少有人声称自己再也不会产生这样的念头（或许只有经历过迷幻药或冥想开悟等极不寻常的体验之后才可能如此）。

考虑到大脑的成本，以及每次建立联系似乎都需要进行非平凡的思考，这个过程可能也相当昂贵。我们很难确定，但我猜几乎所有动物都不会出现“Eureka！”时刻。我们还可以进一步猜测，这个过程很可能可以并行化：这些联系发生在如此“遥远”的概念对之间，很难想象大脑会赋予它们彼此相关的极高先验概率，并且只需要在每次“命中”之间执行少量串行计算。它们彼此相关的可能性或许极低，所以大脑一定同时尝试了大量组合，也因此必须并行执行，才能在人的一生中容纳如此多的尝试。

它大概只与海马体在睡眠期间进行的 experience replay 部分相关，因为 experience replay 面向长期记忆，而我们也会对 Working memory 或短期记忆中的事物产生这类念头（例如当天发生的事，尚未经过任何睡眠）。二者之间很可能存在联系，但并不是同一种机制。它也很可能与默认模式网络有关：当我们没有明确思考任何事情时，默认模式网络就会激活；而它与白日梦、“胡思乱想”或“走神”高度相关，这些恰恰是此类念头特别容易涌现的状态。（默认模式网络尤其令人惊讶，因为我们没有理由预期人脑会存在这样一种机制，而不是在无事可做时归于静止；事实上，神经科学家也花了很长时间才接受它确实存在。此外，除了灵长类动物，以及可能包括大鼠在内的少数哺乳动物之外，几乎没有证据表明其他动物拥有默认模式网络。）

这种思考似乎还会被“挤出”：当人专注学习或思考时，它很可能不会发生。按照我的个人观察，当我高度投入地做某件事时——无论是阅读研究资料、写作、编码，还是从事其他新颖且需要大量智力投入的工作——这类念头都会停止出现……但如果我休息一下，它们可能会突然大量涌现，仿佛先前有一道水坝拦着它们，又像是我的大脑正在弥补失去的时间。

不过，为了说明我认为这个问题的答案可能是什么样子，下面给出一个示例。它符合我们的所有标准，宽泛地借鉴了 wake-sleep 算法与默认模式网络，而且看起来没有明显错误。

我们把它称为白日梦循环（Day-dreaming loop，DDL）：大脑针对其存储的事实与技能执行组合搜索。它可以通过重放旧记忆、从中提取新知识来提高样本效率，也可以用于隐式规划（例如修补长期任务中的缺陷，而整个人生就是这样一个跨越漫长时间的任务）。DDL 以一种简单的方式完成这些工作：它随机检索两个事实，“思考它们”，如果结果“有趣”，就把它提升到意识层面，并可能将其加入存储或纳入训练。（目前并不清楚，执行 k > 2 的高阶组合到底有多重要。只要有用的组合会不断被加入存储，高阶组合就会得到隐式编码：只要三个元素构成的三个可能配对中，有一个配对被存储为新组合，之后就能检索另一个元素，并把它与这个新组合继续结合。如果一个高阶组合中的所有成员，在任何低阶组合中都毫无趣味，那么这种高阶组合可能过于稀疏，不值得关注。）当大脑没有被其他任务占用时，DDL 就会在后台运行，并持续人的一生。因此，Kohl’s 的例子可能是这样发生的：“检索两个在语义网络中关系松散的概念；只思考这两个概念；结果有趣吗？是的，因为二者之间存在一个出人意料的联系，可以构成双关语。提升！”

我们可以用各种方式扩展 DDL，比如同时使用标记为“有趣”和“无趣”的结果进行训练，然后尝试采样带有“有趣”前缀的内容；或者设法寻找更高效的采样方式（无放回采样？reservoir sampling？importance sampling 方法？反 spaced repetition？）；又或者调整验证步骤（在保存之前，是否需要把结果交给 oracle 审查，因为这种搜索过程具有危险的自我对抗性？）。

不过，这些都没有必要，因为 DDL 已经符合所有标准，因此值得讨论：

从 RL 的角度来看，这样的 bootstrap 机制确实可能奏效，因为我们利用了 generator-verifier gap：判别通常比生成更容易（例如，听懂一个双关语并发笑，要比自己创造一个双关语更容易）。整个过程完全处于无意识之中。由于它非常轻量，因此可以并行发生，也可以在相互独立的模态或任务中运行（例如，语言重放可以与情景记忆重放分开进行）。而且，由于其本质是重新组合，这个过程很难被“耗尽”，因为每一个被加入存储的“命中”都会带来许多新的组合。令人惊讶的是，经济学家 Charles I. Jones 在 2021 年提出的一个经济创新统计玩具模型中表明：尽管我们会首先摘取低垂的果实，创新仍可能源源不断地涌现，甚至出现创新爆炸。然而，这个过程极其昂贵，因为几乎所有组合都毫无用处。同时，它也很难被过度优化：由于在线学习与时间流逝，大脑会不断变化；即使某一概念对过去已经被检查过，并被判定为无趣，这种情况也可能随时发生改变，因此重新检查仍然可能有价值。

显然，LLM 通常根本不会做任何类似的事情，也没有任何 LLM 系统在这样做。它们收到一个用于执行特定任务的 prompt，然后完成这个任务。它们不会随意抽取随机事实，再推演一些有关这些事实的内部独白，试探自己能否想到什么“有趣”的东西。

不过，实现我提出的算法并不困难。例如，可以从 vector database 中检索随机的数据点集合，然后运行一个“brainstorm” prompt，最后再进行评判。下面是假想的 prompt：

[SYSTEM]
You are a creative synthesizer. Your task is to find deep, non-obvious,
and potentially groundbreaking connections between the two following concepts.
Do not state the obvious. Generate a hypothesis, a novel analogy,
a potential research question, or a creative synthesis.
Be speculative but ground your reasoning.

Concept 1: {Chunk A}
Concept 2: {Chunk B}

Think step-by-step to explore potential connections:

#. Are these concepts analogous in some abstract way?
#. Could one concept be a metaphor for the other?
#. Do they represent a similar problem or solution in different domains?
#. Could they be combined to create a new idea or solve a problem?
#. What revealing contradiction or tension exists between them?

Synthesize your most interesting finding below.
[ASSISTANT]

...

[SYSTEM]
You are a discerning critic. Evaluate the following hypothesis
on a scale of 1--10 for each of the following criteria:

- <strong>Novelty</strong>: Is this idea surprising and non-obvious? (1=obvious, 10=paradigm-shifting)
- <strong>Coherence</strong>: Is the reasoning logical and well-formed? (1=nonsense, 10=rigorous)
- <strong>Usefulness</strong>: Could this idea lead to a testable hypothesis, a new product,
    or a solution to a problem? (1=useless, 10=highly applicable)

Hypothesis: {Synthesizer Output}

Provide your scores and a brief justification.
[ASSISTANT]

……只是成本会很高。根据人类的例子，我们可以粗略地把 <20:1 作为上限；这将对基于 LLM 的研究产生严重影响——对于每项任务，一个优秀的 LLM 解决方案所需成本，可能比 LLM 本身高出 2 个数量级。把负载迁移到电价最低的地区或运行 batch job 等显而易见的优化手段，确实可以降低成本，但降不了太多。

便宜、好用、快速：三选二。因此，LLM 相较人类所获得的许多经济效率，可能源于一个严苛的取舍：它们放弃了生成新颖内容，或者放弃了成为长时间运行的 Agent。如果事实果真如此，大多数用户都不会愿意为自己的 LLM 用途多支付 20 倍的费用，仅仅因为系统偶尔可能产生一条新颖洞见。

如果我们无法把检索范围缩小到“只包含”与用户相关的事实，从而节省算力，这一点会尤其明显。真正重要的，可能恰恰是那些跨度最远、先验概率最低的联系；因此，无论用户多么厌烦收到随机双关语，或有关 CIA 伪造吸血鬼袭击的趣闻，可能都没有简单的改进方法。

只有高级用户、研究人员或自主 Agent 才愿意支付“白日梦税”——它既可能表现为更高的前期训练资本成本，也可能表现为支付在线白日梦的费用，让模型针对当前问题进行特化，以获得渐近 scaling 改进，参见 AI 研究者 Andy Jones 2021。

数据护城河。因此，这可能成为 RL scaling 的一种重要形式：数十亿美元的算力将被投入“做白日梦的 AI”，以绕过“数据墙”，并为下一代小型、廉价的 LLM 创建专有训练数据。（而直接服务于大多数付费用户的正是这些小型模型；最昂贵的层级则会留给最有价值的用途，例如 R&D。）对于通过 API transcript 进行朴素的数据蒸馏，以及廉价克隆 frontier model 而言，这些白日梦构成了一道有趣的护城河——那种蒸馏方法只对你知道该问什么的问题有效；但这里的关键恰恰在于，你不知道该问什么。（而如果你已经知道该问什么，那么甚至根本没有必要使用任何 API。）

考虑到 RL scaling law 和不断上升的资本投入，LLM 或许必须先变得缓慢而昂贵，才能最终变得快速而廉价。