LLM研究中的核心开放问题

[LinkedIn 讨论，Twitter 话题串]

我这辈子从未见过如此多聪明人朝着同一个目标努力：让 LLM 变得更好。在与许多业界和学术界的从业者交流后，我注意到目前涌现出了 10 个主要研究方向。前两个方向——幻觉和上下文学习——可能是当下讨论最多的。我最感兴趣的是第 3 个（多模态）、第 5 个（新架构）和第 6 个（GPU 替代方案）方向。

1. 减少并衡量幻觉

幻觉已经是一个被广泛讨论的话题，所以我会简要介绍。当 AI 模型凭空编造内容时，就产生了幻觉。对于许多创造性用例而言，幻觉是一项特性；然而，对于大多数其他用例来说，幻觉则是一个缺陷。我最近参加了一场关于 LLM 的圆桌讨论，与会者来自 Dropbox、Langchain、Elastics 和 Anthropic。他们认为，企业在生产环境中采用 LLM 所面临的首要障碍就是幻觉。

缓解幻觉并开发衡量幻觉的指标，正成为一个蓬勃发展的研究方向，我也看到许多初创公司正专注于解决这个问题。此外，还有一些减少幻觉的临时技巧，例如在提示词中添加更多上下文、使用思维链或自洽性，或者要求模型简洁作答。

进一步了解幻觉：

• 《自然语言生成中的幻觉综述》（Ji 等，2022）

• 《语言模型的幻觉如何产生滚雪球效应》（Zhang 等，2023）

• 《ChatGPT 在推理、幻觉和交互性方面的多任务、多语言、多模态评估》（Bang 等，2023）

• 《对比学习减少对话中的幻觉》（Sun 等，2022）

• 《自洽性改进语言模型中的思维链推理》（Wang 等，2022）

• 《SelfCheckGPT：面向生成式大语言模型的零资源黑盒幻觉检测》（Manakul 等，2023）

• NVIDIA 的 NeMo-Guardrails 所展示的一个事实核查与幻觉的简单示例

2. 优化上下文长度与上下文构建

绝大多数问题都需要上下文。例如，如果我们问 ChatGPT：“最好的越南餐厅是哪家？”，所需的上下文就是“在哪里”，因为越南最好的越南餐厅和美国最好的越南餐厅并不会是同一家。

根据一篇很有意思的论文 SituatedQA（Zhang & Choi，2021），相当一部分信息检索类问题的答案依赖上下文。例如，在 Natural Questions 的 NQ-Open 数据集中，这一比例约为 16.5%。我个人怀疑，在企业用例中，这一比例会更高。比如，假设某家公司构建了一个客服聊天机器人，要让这个机器人回答任何客户关于任何产品的问题，所需的上下文可能包括该客户的历史记录或该产品的信息。

由于模型会从提供给它的上下文中“学习”，这一过程也被称为上下文学习。

上下文长度对于 RAG——检索增强生成（Retrieval Augmented Generation，Lewis 等，2020）——尤其重要。RAG 已成为 LLM 行业用例中的主流模式。对于尚未被 RAG 热潮席卷的人来说，RAG 分两个阶段工作：

阶段 1：分块（也称为索引）

• 收集所有希望 LLM 使用的文档。

• 将这些文档划分为可以输入 LLM 的块，以生成嵌入，并将这些嵌入存储到向量数据库中。

• 当用户发送查询时，例如“我的保险保单会报销药物 X 吗？”，LLM 会将这个查询转换成一个嵌入，我们称之为 QUERY_EMBEDDING。

• 向量数据库会提取嵌入与 QUERY_EMBEDDING 最相似的文档块。

Jerry Liu 关于 LlamaIndex 的演讲截图（2023）

上下文越长，我们能够塞入上下文中的文档块就越多。模型能够访问的信息越多，回答就会越好，对吧？

并非总是如此。模型能够使用多少上下文，以及模型能多高效地利用这些上下文，是两个不同的问题。在努力增加模型上下文长度的同时，人们也在努力提高上下文的效率。有些人称之为“提示工程”或“提示构建”。例如，最近有一篇广为流传的论文指出：与索引中间的信息相比，模型更善于理解索引开头和结尾的信息——《迷失在中间：语言模型如何使用长上下文》（Liu 等，2023）。

3. 融合其他数据模态

在我看来，多模态非常强大，却被严重低估了。我们需要多模态的原因有很多。

首先，许多用例都需要多模态数据，尤其是在处理多种数据模态混合的行业中，例如医疗、机器人、电子商务、零售、游戏和娱乐等。示例包括：

• 医疗预测通常同时需要文本（例如医生的诊疗记录、患者问卷）和图像（例如 CT、X 光和 MRI 扫描图像）。

• 产品元数据通常包含图像、视频、描述，甚至表格数据（例如生产日期、重量和颜色）。你可能希望根据用户评价或产品照片自动补全缺失的产品信息，也可能希望用户能够使用形状、颜色等视觉信息搜索产品。

其次，多模态有望大幅提升模型性能。能够同时理解文本和图像的模型，难道不应该比只能理解文本的模型表现更好吗？纯文本模型需要极其庞大的文本量，因此人们确实担心，我们可能很快就会耗尽互联网上可用于训练文本模型的数据。一旦文本数据耗尽，我们就需要利用其他数据模态。

我尤其期待的一个用例是：多模态可以帮助视障人士浏览互联网，并在现实世界中行动。

一些很酷的多模态研究：

• [CLIP]《从自然语言监督中学习可迁移的视觉模型》（OpenAI，2021）

• 《Flamingo：用于少样本学习的视觉语言模型》（DeepMind，2022）

• 《BLIP-2：借助冻结的图像编码器和大语言模型引导语言—图像预训练》（Salesforce，2023）

• 《KOSMOS-1：语言并非你所需的一切——将感知与语言模型对齐》（Microsoft，2023）

• 《PaLM-E：具身多模态语言模型》（Google，2023）

• 《LLaVA：视觉指令微调》（Liu 等，2023）

• 《NeVA：NeMo 视觉与语言助手》（NVIDIA，2023）

我一直在写一篇关于多模态的文章，希望很快就能与大家分享！

4. 让 LLM 更快、更便宜

2022 年 11 月下旬 GPT-3.5 刚发布时，许多人都担心在生产环境中使用它的延迟和成本。然而，此后有关延迟和成本的分析迅速发生了变化。不到半年，社区就找到了一种方法，可以创建性能相当接近 GPT-3.5、但内存占用不到 GPT-3.5 的 2% 的模型。

我的结论是：只要你创造出的东西足够好，人们就会找到让它变得又快又便宜的方法。

下面展示的是 Guanaco 论文所报告的 Guanaco 7B 与 ChatGPT GPT-3.5 和 GPT-4 的性能对比。需要注意的是：总体而言，这种性能比较远非完美。LLM 评估真的非常、非常困难。

四年前，当我开始整理那些后来成为《Designing Machine Learning Systems》一书中“模型压缩”章节的笔记时，我写到了四种主要的模型优化／压缩技术：

• 量化：迄今为止适用范围最广的模型优化方法。量化通过使用更少的比特来表示模型参数，从而减小模型大小。例如，不再使用 32 位表示一个浮点数，而是只使用 16 位，甚至 4 位。

• 知识蒸馏：训练一个小模型（学生）来模仿一个更大的模型或模型集成（教师）的方法。

• 低秩分解：其核心思想是用低维张量替代高维张量，以减少参数数量。例如，可以将一个 3x3 张量分解为一个 3x1 张量和一个 1x3 张量的乘积，这样参数数量就从 9 个减少到了 6 个。

这四种技术如今仍然具有现实意义并广受欢迎。Alpaca 使用知识蒸馏进行训练。QLoRA 则结合使用了低秩分解和量化。

5. 设计新的模型架构

自 2012 年 AlexNet 问世以来，我们见证了许多架构的兴衰，包括 LSTM、seq2seq。与它们相比，Transformer 的生命力强得惊人。它自 2017 年问世以来一直沿用至今。这个架构还能流行多久，仍然是一个巨大的未知数。

开发一种能够超越 Transformer 的新架构并不容易。过去 6 年间，Transformer 已经得到了极为深入的优化。这种新架构必须能够在当下人们所关注的规模上，以及人们所关注的硬件上取得良好表现。顺带一提：Transformer 最初由 Google 设计，目标是在 TPU 上快速运行，后来才针对 GPU 进行优化。

2021 年，Chris Ré 实验室推出的 S4 引起了广泛关注——见《Efficiently Modeling Long Sequences with Structured State Spaces》(Gu et al., 2021)。我不太清楚后来发生了什么。Chris Ré 实验室仍在继续投入开发新架构，最近的成果是与初创公司 Together 合作推出的 Monarch Mixer (Fu et al., 2023)。

他们的核心思想是：对于现有的 Transformer 架构，注意力机制的复杂度关于序列长度是二次方的，而 MLP 的复杂度关于模型维度是二次方的。如果能开发一个具有次二次复杂度的架构，效率会更高。

我相信许多其他实验室也在研究这个想法，但我还没有看到有任何公开发表的尝试。如果你知道有的话，欢迎告诉我！

6. 开发 GPU 的替代方案

自从 2012 年 AlexNet 以来，GPU 一直是深度学习的主流硬件。实际上，AlexNet 之所以广受欢迎的一个公认原因就是它是第一篇成功使用 GPU 训练神经网络的论文。在 GPU 出现之前，如果你想训练 AlexNet 规模的模型，必须使用数千个 CPU，就像谷歌在 AlexNet 发布前几个月发布的那样。与数千个 CPU 相比，几个 GPU 对于博士生和研究人员来说要便宜得多，这引发了深度学习研究的繁荣。

在过去的十年里，许多公司（既有大企业，也有初创公司）都尝试为 AI 创造新硬件。最值得注意的尝试包括谷歌的 TPU、Graphcore 的 IPU（IPU 现在怎么样了？）和 Cerebras。SambaNova 融资超 10 亿美元来开发新的 AI 芯片，但似乎已经转向成为生成式 AI 平台。

长期以来，量子计算一直备受期待，主要参与者包括：

• 谷歌的量子计算机今年早些时候在《自然》杂志上报告了量子纠错方面的重大进展。其量子虚拟机可通过 Google Colab 公开访问

• 麻省理工学院量子工程中心、马克斯·普朗克量子光学研究所、芝加哥量子交易所、橡树岭国家实验室等研究机构

另一个同样令人兴奋的方向是光子芯片。这是我了解最少的领域——如果我错了，欢迎指正。现有芯片使用电力传输数据，这消耗大量电力并产生延迟。光子芯片使用光子传输数据，利用光速实现更快、更高效的计算。该领域的各类初创公司融资数亿美元，包括 Lightmatter（2.7 亿美元）、Ayar Labs（2.2 亿美元）、Lightelligence（2 亿美元以上）和 Luminous Computing（1.15 亿美元）。

下面是论文《Photonic matrix multiplication lights up photonic accelerator and beyond》(Zhou et al., Nature 2022) 中光子矩阵计算三种主要方法的时间线。这三种不同的方法分别是平面光转换 (PLC)、马赫-曾德尔干涉仪 (MZI) 和波分复用 (WDM)。

7. 让 AI 智能体可用

AI 智能体是能够采取行动的 LLM，比如浏览互联网、发送邮件、进行预订等。与本文其他研究方向相比，这可能是最年轻的方向。

因为其新颖性和巨大潜力，人们对 AI 智能体的热情高涨。Auto-GPT 现在是 GitHub 上按星数计第 25 个最受欢迎的仓库。GPT-Engineering 是另一个热门仓库。

尽管热情高涨，但仍有人对 LLM 是否足够可靠和高效来被赋予行动权力表示怀疑。

不过已经出现了一个用例——使用 AI 智能体进行社交研究。著名的斯坦福实验表明，一个小型生成式 AI 智能体社区会产生紧急社交行为：例如，从仅仅一个用户指定的概念开始——一个 AI 智能体想要举办情人节派对——这些 AI 智能体在接下来的两天里自主地传播派对邀请、结识新的朋友、互相邀请参加派对……(《Generative Agents: Interactive Simulacra of Human Behavior》, Park et al., 2023)

这个领域最值得注意的初创公司可能是 Adept，由两名 Transformer 论文共作者（虽然两人都已离职）和一位前 OpenAI VP 创办，迄今已融资近 5 亿美元。去年，他们展示了其 AI 智能体浏览互联网并在 Salesforce 中添加新账户的演示。我期待看到他们的新演示 🙂

8. 改进从人类偏好中学习

RLHF，即从人类偏好中强化学习，很酷但有点"黑科技"。我不会惊讶于人们找到更好的方式来训练 LLM。RLHF 存在许多开放问题，例如：

1. 如何数学化表示人类偏好？

目前，人类偏好通过比较来确定：人类标注者判断响应 A 是否优于响应 B。但这没有考虑响应 A 优于响应 B 的程度。

2. 什么是人类偏好？

Anthropic 沿着三个轴测量了其模型响应的质量：有帮助的、诚实的和无害的。见《Constitutional AI: Harmlessness from AI Feedback》(Bai et al., 2022)。

DeepMind 尝试生成能取悦最多人的响应。见《Fine-tuning language models to find agreement among humans with diverse preferences》(Bakker et al., 2022)。

另外，我们想要能表明立场的 AI，还是回避任何潜在争议话题的平凡 AI？

3. 考虑到文化、宗教、政治倾向等差异，"人类"偏好应该由谁来定义？

获得能充分代表所有潜在用户的训练数据存在许多挑战。

例如，对于 OpenAI 的 InstructGPT 数据，没有标注者超过 65 岁。标注者主要来自菲律宾和孟加拉国。见《InstructGPT: Training language models to follow instructions with human feedback》(Ouyang et al., 2022)。

社区主导的努力虽然意图良好，但可能导致数据有偏差。例如，对于 OpenAssistant 数据集，222 个受访者中有 201 个（90.5%）自认为是男性。Jeremy Howard 在 Twitter 上有一个很好的线索讨论这个问题。

9. 改进聊天界面的效率

自 ChatGPT 以来，人们多次讨论聊天是否是适合广泛任务的界面。

• 自然语言是懒惰用户界面 (Austin Z. Henley, 2023)

• 为什么聊天机器人不是未来 (Amelia Wattenberger, 2023)

• 什么类型的问题需要通过对话来回答？Reddit 提问案例研究 (Huang et al., 2023)

• AI 聊天界面可能成为阅读文档的主要用户界面 (Tom Johnson, 2023)

• 使用最少聊天与 LLM 交互 (Eugene Yan, 2023)

然而，这不是一个新话题。在许多国家，特别是亚洲，聊天已被用作超级应用的界面大约十年。Dan Grover 早在 2014 年就讨论过这个问题。

讨论在 2016 年再次变得激烈，当时许多人认为应用已死，聊天机器人将成为未来。

• 关于聊天作为界面 (Alistair Croll, 2016)

• 聊天机器人趋势是一个大误会吗？(Will Knight, 2016)

• 机器人不会替代应用。更好的应用会替代应用 (Dan Grover, 2016)

从个人角度，我喜欢聊天界面，原因如下：

聊天是一个任何人都能快速学会使用的界面，即使他们之前没有接触过计算机或互联网。当我在 2010 年代初在肯尼亚的低收入居住区做志愿者时，我被那里的每个人通过手机短信进行银行业务的熟练程度惊呆了。那个社区里没有人有电脑。

聊天界面无障碍。如果你的手很忙，你可以使用语音而不是文本。

聊天也是一个非常强大的界面——你可以给它任何请求，它都会给出响应，即使响应不太好。

然而，我认为聊天界面在某些方面可以改进。

单轮多条消息

目前，我们基本假设每轮一条消息。这不是我和朋友发短信的方式。通常，我需要多条消息才能完成我的想法，因为我需要插入不同的数据（例如图片、位置、链接）、我忘记了之前消息中的某些内容，或者我不想把一切都塞进一个巨大的段落中。

多模态输入

在多模态应用领域，大部分精力都投入到构建更好的模型上，而很少用于改进用户界面。以 Nvidia 的 NeVA 聊天机器人为例。我不是 UX 专家，但我怀疑这里可能还有 UX 改进的空间。

P.S. 向 NeVA 团队道歉了。即便如此，你们的工作依然很出色！

将生成式 AI 融入工作流程

Linus Lee 在他的演讲《超越聊天的生成式 AI 界面》中很好地阐述了这一点。例如，如果你想询问你正在处理的图表中某一列的问题，你应该能够直接指向那一列并提问。

消息的编辑和删除

用户输入的编辑或删除会如何改变与聊天机器人的对话流程？

10. 为非英语语言构建 LLMs

我们知道，目前以英语为主的 LLMs 在许多其他语言上表现不佳，无论是在性能、延迟还是速度方面都如此。参见：

ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning (Lai et al., 2023)

All languages are NOT created (tokenized) equal (Yennie Jun, 2023)

以下是我知道的一些倡议。如果你有其他的指向，我很乐意将其纳入这里。

Aya: An Open Science Initiative to Accelerate Multilingual AI Progress

Symato: Vietnamese ChatGPT

Cabrita: Finetuning InstructLLaMA with portuguese data

这篇文章的几位早期读者告诉我，他们认为我不应该包含这个研究方向，原因有两个。

这不太是一个研究问题，而更多是一个后勤问题。我们已经知道怎么做了。有人只需要投入资金和精力。

这不完全正确。大多数语言被认为是低资源语言，例如，与英文或中文相比，它们的高质量数据少得多，可能需要不同的技术来训练大型语言模型。参见：

Low-resource Languages: A Review of Past Work and Future Challenges (Magueresse et al., 2020)

JW300: A Wide-Coverage Parallel Corpus for Low-Resource Languages (Agić et al., 2019)

更悲观的观点认为，在未来，许多语言会逐渐消亡，互联网将分裂为两个用两种语言的宇宙：英语和普通话。这种想法并非新颖——还记得 Esperanto 吗？

AI 工具（如机器翻译和聊天机器人）对语言学习的影响仍不明确。它们会帮助人们更快地学习新语言，还是会消除学习新语言的必要性？

天哪，那是大量的论文参考，我确信仍有不少遗漏。如果有你认为我遗漏的东西，请告诉我。

要了解另一种观点，请查看这篇综合论文《大型语言模型的挑战与应用》(Kaddour et al., 2023)。

上述问题的难度等级不同。例如，我认为第 10 点，为非英语语言构建 LLMs，只要有足够的时间和资源，就相对直接。

第 1 点，减少幻觉，会困难得多，因为幻觉本质上是 LLMs 进行概率计算的表现。

第 4 点，使 LLMs 更快更便宜，永远不会被完全解决。这个领域已经有了这么多进展，还会有更多，但我们永远不会耗尽改进的空间。

第 5 点和第 6 点，新架构和新硬件，是非常具有挑战性的，但随着时间的推移是不可避免的。由于架构和硬件之间的共生关系——新架构需要针对常见硬件进行优化，硬件需要支持常见架构——它们可能会由同一家公司解决。

其中一些问题不能仅用技术知识来解决。例如，第 8 点，改进从人类偏好中学习，可能更多是一个政策问题而不是技术问题。第 9 点，改进聊天界面的效率，更多是一个 UX 问题。我们需要更多具有非技术背景的人与我们合作来解决这些问题。

你对哪个研究方向最感兴趣？你认为这些问题最有前景的解决方案是什么？我很想听听你的想法。