LLM 如何反映人脑语言处理机制

Mariano Schain，软件工程师；Ariel Goldstein，访问研究员，Google Research

经过优化、能够预测后续话语，并利用上下文 embedding 适应不同任务的 Large Language Model（LLM），其自然语言处理能力已经接近人类水平。本研究表明，当 LLM 处理日常对话时，人脑中的神经活动与其内部的语音和语言上下文 embedding 呈线性对齐。

在人们进行日常对话时，人脑是如何处理自然语言的？从理论上看，Large Language Model（LLM）与人类语言的符号主义心理语言学模型，为自然语言编码提供了两套截然不同的计算框架。Large Language Model 不依赖符号化的词性或句法规则。相反，它们采用简单的自监督目标，例如预测下一个词，以及通过强化学习增强的生成机制。这使模型能够基于真实世界的文本语料库，生成符合具体上下文的语言输出，并将自然语音（声音）和语言（词语）的统计结构有效编码到多维 embedding 空间中。

受 LLM 成功的启发，Google Research 团队与普林斯顿大学、纽约大学和希伯来大学合作，希望探索人脑与深度语言模型在处理自然语言、形成各自卓越能力的过程中，存在哪些相似与不同之处。过去五年里，我们通过一系列研究，考察了特定深度学习模型的内部表示（embedding）与人类在自然、自由流动的对话过程中产生的脑神经活动之间的相似性。这些研究证明，深度语言模型的 embedding 可以作为一种强有力的框架，帮助我们理解人脑如何处理语言。我们的研究表明，深度语言模型生成的词级内部 embedding，与人脑中已知负责语音理解和生成的脑区所呈现的神经活动模式相互对齐。

基于 embedding 的语言表示具有相似性。

我们最近发表在《Nature Human Behaviour》上的研究，考察了基于 Transformer 的语音转文本模型的内部表示，与人脑在真实对话中的神经处理序列之间的对齐关系。在这项研究中，我们分析了通过颅内电极记录的、自发对话期间的神经活动。我们将神经活动模式与 Whisper 语音转文本模型生成的内部表示——embedding——进行比较，重点关注模型的语言特征如何与人脑自然处理语音的过程对齐。

对于听到的每一个词（语音理解期间）或说出的每一个词（语音生成期间），我们都会从语音转文本模型中提取两类 embedding：一类是来自模型语音编码器的语音 embedding，另一类是来自模型解码器、以词为基础的语言 embedding。针对每段对话中的每个词，我们估计一个线性变换，用语音转文本模型的 embedding 预测大脑神经信号。研究发现，人脑语音区域的神经活动与模型的语音 embedding 之间，以及大脑语言区域的神经活动与模型的语言 embedding 之间，都存在显著的对齐关系。下面的动画展示了这种对齐，模拟受试者理解语言时大脑神经响应的先后顺序：

受试者听到“How are you doing?”这句话并进行语言理解时，大脑神经响应的先后顺序。

当听者处理接收到的口语词汇时，我们观察到了一系列神经响应：最初，当每个词被说出来时，语音 embedding 可以帮助我们预测沿颞上回（superior temporal gyrus，STG）分布的语音区域中的皮层活动。几百毫秒后，当听者开始解码词语的含义时，语言 embedding 可以预测 Broca 区（位于额下回，即 inferior frontal gyrus，IFG）的皮层活动。

再来看参与者生成语言的过程，我们观察到了另一种不同的——恰好相反的——神经响应顺序：

受试者回答“feeling fantastic”时，语言生成过程中的神经响应顺序。

进一步观察这种对齐关系可以发现，在说出一个词的大约 500 毫秒前，也就是受试者准备说出下一个词时，语言 embedding（图中以蓝色表示）可以预测 Broca 区的皮层活动。几百毫秒后——此时依然早于词语开始发音的时刻——当说话者规划发音所需的语音序列时，语音 embedding（图中以红色表示）可以预测运动皮层（motor cortex，MC）的神经活动。最后，当说话者真正说出这个词后，语音 embedding 可以预测 STG 听觉区域的神经活动，因为说话者此时会听到自己的声音。这一动态过程反映了神经处理的先后顺序：首先在语言区域规划要说什么，随后在运动区域规划如何将其说出来，最后在感知语音的区域监控自己实际说出了什么。

下图展示了全脑分析的量化结果：对于每一个词，我们根据它的语音 embedding（红色）和语言 embedding（蓝色），预测各个电极从词语开始前 2 秒到开始后 2 秒期间的神经响应；图中 x 轴的 0 表示词语开始的时刻。我们分别在语音生成（左图）和语音理解（右图）过程中进行了这项分析。相关曲线展示了在不同脑区的电极上，针对所有词语预测神经活动的准确度（相关性）如何随时间差变化。

将语音和语言 embedding 分别拟合到人类生成及理解语言时的脑信号。

在语音生成过程中，可以清楚看到，IFG 中的语言 embedding（蓝色）先达到峰值，随后感觉运动区域中的语音 embedding（红色）达到峰值，最后 STG 中的语音编码达到峰值。相比之下，在语音理解过程中，编码峰值移到了词语开始之后：STG 中的语音 embedding（红色）显著早于 IFG 中的语言编码（蓝色）达到峰值。

总的来说，我们的研究结果表明，语音转文本模型的 embedding 为理解自然对话中语言处理的神经基础提供了一个统一框架。令人惊讶的是，尽管 Whisper 的开发目标完全是语音识别，并未考虑人脑如何处理语言，但我们发现，它的内部表示与自然对话期间的神经活动存在对齐关系。这种对齐并非必然出现——如果得到负面结果，我们将只能观察到 embedding 与神经信号之间很少甚至毫无对应关系，这意味着模型的表示并未捕捉到大脑的语言处理机制。

LLM 与人脑之间的对齐揭示了一个尤其值得关注的概念：神经处理中的“软层级”（soft hierarchy）。尽管 IFG 等参与语言处理的脑区通常会优先处理词级语义与句法信息——这体现为它们与语言 embedding（蓝色）具有更强的对齐——但这些区域也会捕捉较低层级的听觉特征，这一点可以从它们与语音 embedding（红色）较弱但依然显著的对齐中看出来。反过来，STG 等较低阶的语音区域通常会优先处理声学和音素信息——这体现为它们与语音 embedding（红色）具有更强的对齐——但它们也会捕捉词级信息，这一点可以从它们与语言 embedding（蓝色）较弱但依然显著的对齐中看出来。

LLM 与人脑共享的目标和几何结构

LLM 使用一个简单的目标进行训练，以处理自然语言：预测序列中的下一个词。在一篇发表于《Nature Neuroscience》的论文中，我们发现，与 LLM 类似，听者大脑中的语言区域也会尝试在下一个词被说出之前对其进行预测。此外，同 LLM 一样，听者在词语开始前对预测的置信度，会改变他们在词语被说出后的意外程度（预测误差）。这些发现提供了极具说服力的新证据，表明自回归 LLM 与人脑共享若干基本计算原则，包括词语开始前的预测、词语开始后的意外，以及基于 embedding 的上下文表示。在另一篇发表于《Nature Communications》的论文中，团队还发现，LLM 的 embedding 空间几何结构所捕捉到的自然语言词语关系，与语言区域中由大脑生成的表示几何结构——也就是大脑 embedding——相互对齐。

LLM 与人脑处理自然语言方式的差异

尽管人脑与基于 Transformer 的 LLM 在处理自然语言时共享一些基本计算原则，但二者底层的神经回路架构存在显著差异。例如，在一项后续研究中，我们考察了基于 Transformer 的 LLM 如何跨层处理信息，并将其与人脑的信息处理方式进行比较。团队发现，尽管 LLM 各层之间的非线性变换，与人脑语言区域中的非线性变换具有相似之处，但二者的实现方式存在很大差异。Transformer 架构会同时处理数百乃至数千个词，而大脑的语言区域似乎会按照时间顺序，以逐词、循环的方式依次分析语言。

总结与未来方向

团队积累的研究证据揭示了人脑与深度学习模型处理自然语言时共享的若干计算原则。这些发现表明，深度学习模型或许能够提供一种新的计算框架，帮助我们理解大脑处理自然语言时所采用的神经编码；该框架建立在统计学习、盲目优化以及直接拟合自然数据等原则之上。与此同时，基于 Transformer 的语言模型与人脑之间仍存在显著差异，包括神经架构、语言数据的类型与规模、训练流程，以及人脑在社会环境中自然习得语言时所依赖的生物结构与发育阶段。展望未来，我们的目标是创造具有生物学启发的创新型人工神经网络，进一步提升其处理信息以及在现实世界中运行的能力。我们计划通过调整神经架构、学习流程和训练数据，使其更加贴近人类的真实经验，从而实现这一目标。

本文介绍的研究成果，源自 Google Research 与以下机构的长期合作：普林斯顿大学神经科学研究所与心理学系的 Hasson Lab、希伯来大学商学院与认知科学系的 DeepCognitionLab，以及 NYU Langone Comprehensive Epilepsy Center 的研究人员。

自然语言处理