DeepMind:语言模型难以创新,世界模型更有潜力
Google DeepMind 发表学术论文论证 LLM 缺乏产生突破性创新所需的认知机制,但认为世界模型可能是未来方向。
Google DeepMind 发表学术论文论证 LLM 缺乏产生突破性创新所需的认知机制,但认为世界模型可能是未来方向。
语言模型能否引发科学革命?在题为《LLM 跳不起来》的立场论文中,Google Deepmind 的 Tom Zahavy 认为它们不能。它们缺少创造真正新事物所需的认知机制。
Zahavy 的论点建立在爱因斯坦在给友人 Maurice Solovine 的一封信中勾勒的框架基础之上。爱因斯坦写道,发现是一个循环过程:感官体验导向对公理的直观"跳跃",然后逻辑演绎产生可检验的结论。公理是理论中未被证明的基础假设。
为了精确定位问题所在,Zahavy 引用了哲学家 Charles Sanders Peirce 的经典论述。Peirce 根据规则、案例和结果如何相互连接,对所有推理进行了分类。
演绎法从固定的规则推导出必然的结论,就像运行程序产生可被证明正确的输出一样。归纳法在数据中识别模式:观察一千只白天鹅,你就推断所有天鹅都是白色的。而溯因法则是创造性的跳跃。它发明一个原因来解释某个令人惊讶的现象。
Zahavy 认为,关键的瓶颈正在这第三种推理中,他进而区分了两个层次。普通溯因法从一组已知的候选解释中挑选最合理的一个,就像医生根据症状匹配疾病一样。他承认语言模型可以做到这一点。但更难的版本是他所谓的"创造性溯因法":为一个尚无语言模板的原因进行发明。他主张这才是科学发明的真正瓶颈,而机器无法胜任。
归纳法和演绎法,这篇论文指出,完全在 AI 的能力范围内。语言模型已经在统计模式识别上表现出色,在形式推导上也在快速进展。AlphaProof、Gemini 和 GPT-5 等系统目前已在国际数学奥林匹克竞赛问题上获得金牌级成绩。Zahavy 甚至承认,如果给定爱因斯坦的假设作为起点,语言模型很可能可以推导出广义相对论。但关键难点在于最初的假设制定——做出创造性的飞跃抵达这些假设——仍然是瓶颈所在。
Zahavy 用该理论本身来说明这个问题:AI 模型通常通过将预测与现实对比,根据预测与实际结果的偏差进行调整来学习。没有可检测的错误信号,系统就无计可施。而这正是爱因斯坦当时面临的局面。
当爱因斯坦工作时,并无数据危机。牛顿物理学已被验证到极高的精度。唯一已知的异常——水星轨道的微小漂移——被归咎于一个假设的隐形行星,名叫"火神星"。Zahavy 的观点是,一个以优化为驱动的 AI 没有理由推翻物理学。按照这个逻辑,它会像当时的天文学家一样:发明一颗额外的行星来解释这点小差异,而不是重新思考时空本质。后来证实爱因斯坦理论的数据——比如 Eddington 对光线偏折的测量——都是在理论提出后多年才得到的。
那么,引导爱因斯坦得出公理的创造性溯因从何而来?Zahavy 指向爱因斯坦的"最幸福的想法":一个自由下落的观察者,不再感受到重力。这个洞察源自具身模拟——爱因斯坦在脑海中体验身体的物理感觉,而非仅在纸上推导方程。他想象了一个在太空加速升降机内的物理学家,由此得出加速度和重力从内部是无法区分的结论。
Zahavy 将之类比为阿基米德,后者并非通过计算发现浮力原理,而是,据传说,通过踏入浴缸时感受到水位上升的物理感觉。在两个案例中,一个当时的语言中尚不存在的基础原理由此诞生。
语言模型正是缺少这种感官基础。Zahavy 把它们比作哲学家 John Searle 的"中文房间"——一个著名的思想实验,其中一个人按照规则手册操纵中文字符而对其毫不理解。语言模型以类似的方式操纵物理学的符号,却无法接触到赋予这些符号意义的物理体验。
Sakana 的 AI Scientist 和 Deepmind 的 AlphaEvolve 令人印象深刻地自动化了科学工作流。但 AI Scientist 只是重新组合现有概念,而 AlphaEvolve 虽优化出色,却需要一个它能逐步缩小的清晰错误信号。爱因斯坦从未拥有过这样的信号。Zahavy 认为,这两个系统都无法跳跃进入一个全然新颖的思维框架。
作为可能的前进方向,Zahavy 指向物理上自洽的世界模型。他在此划出一条界线:Veo 这样的视频生成器只是预测最可能的下一帧。苹果下落不是因为模型理解重力,而是因为下落在训练数据中是最常见的延续。那仍然只是模式匹配。
相比之下,Genie 这样的动作可控世界模型让智能体能够主动干预模拟,进行反事实实验——比如在脑海中切断升降机的电缆。这样的"合成实验室"可能提供所需的反馈环,来发明那些尚无语言模板的新公理。