AI 产业陷入「规模陷阱」：追求参数量正在扼杀创新

如果现代 AI 最伟大的胜利，同时也埋下了它最大问题的种子，会怎样？

这个故事并非始于 ChatGPT，而是始于 2010 年代那场混乱而辉煌的“寒武纪大爆发”。那是一个深刻变革、多元创新的时代。就在这股创造力喷涌的浪潮中，有人押下了一场大胆的赌注——赌的是纯粹且永无止境的规模扩张。

这就是那场赌注如何直接催生“ChatGPT 时刻”的故事。那是一次耀眼的成功，极大推动了 AI 的发展，也吸引了全世界的目光。

然而，接下来我们要探讨这场成功的另一面：它带来的巨大热潮，如今可能正在阻碍进步。我们认为，随后整个领域疯狂地向单一范式收敛，最终引发了一场只能称为“大遗忘”的现象——整个群体忘记了那些曾经构成研究社区生命线的多元且关键的研究路径。

寒武纪大爆发与那场疯狂的赌注

2012 年的“ImageNet 时刻”之后，AlexNet 的胜利点燃了深度学习，AI 领域随之迎来了一场真正的寒武纪大爆发。创新并不只发生在架构层面；算法效率、学习范式乃至优化机制本身，都在多条战线上同步推进。

尽管其中一条进步路径确实是不断增加网络的“深度”，但它并非孤立发展，而是与许多其他关键思想并行演进。NLP 的基础研究为我们带来了 Word2Vec 等强大的词嵌入技术，以及 LSTM 等能力出色的循环网络。在生成式 AI 的前沿，基于博弈论的 GAN 与概率式 VAE 展开了充满活力的路线之争。在策略研究前沿，Deep Reinforcement Learning 取得爆发式进展，从经典 Atari 游戏，到 AlphaGo 所面对的复杂围棋，再到 AlphaStar 挑战的《星际争霸 II》，都实现了超越人类的表现。

图 1：对 2010—2020 年 AI 研究领域氛围的想象式描绘——寒武纪大爆发

更关键的是，对效率的追求推动了人们深入探索新的学习方式，从数据高效的 meta-learning（MAML），到丰富多样的 self-supervised learning 生态。与此同时，一场更加基础、更具科学性的探索也在进行：研究人员开始研究 interpretability（XAI），使用 Bayesian 方法量化不确定性，并发现了 adversarial attacks，由此揭示出模型深层次的脆弱性。这是一个真正开放的领域，人们从众多不同的哲学立场和工程视角出发，应对各种挑战。

随后，2017 年，一篇将改变一切的论文横空出世：“Attention Is All You Need”。它带来了 Transformer。这个架构不仅是又一个精巧的设计，更是一台为工业级大规模计算新时代量身打造的引擎。

真正看清这台引擎全部潜力的是 OpenAI。它由一个简单而大胆的假设驱动，开启了一项持续多年的使命：规模化计算的暴力推进，不只是通往更好模型的一条路径，还可能引发一次相变。

这场赌注认为，只要从整个互联网上抓取到足够多的统计模式，并让它们达到足够大的规模，一种全新的智能品质——通用推理能力本身——就能够自然涌现。

这项使命以稳健而高效的方式不断推进。GPT-1 在“Improving Language Understanding by Generative Pre-Training”中确立了核心方法。

随后的论文“Language Models are Unsupervised Multitask Learners”表明，它的继任者 GPT-2 仅凭规模扩张，就能诱导出 multitask learning 能力。

但真正首次无可辩驳地证明这场赌注威力的，是拥有 1750 亿参数的 GPT-3。论文“Language Models are Few-Shot Learners”详细介绍了这个模型，并展示了涌现出来的 in-context learning 能力，让人感到一次范式转移正在发生。

有一段时间，这些模型主要还是研究人员感兴趣的对象。真正重新塑造整个科技版图的冲击波，来自 ChatGPT 的发布，以及随后 GPT-4 在 2023 年展示出的能力跃迁。

它不再只是学术上的新奇事物，而是一个稳定可靠、真正有用的助手。这场赌注在全球舞台上获得了回报，LLM 时代由此开启。

大收敛与大遗忘

GPT-4 的成功不只是一场胜利，更像是一次引力事件，将整个研究社区都拉入了它的轨道。对落后的恐惧，引发了资源与人才的大规模集中。寒武纪时代那个充满活力、路径多元的生态系统开始坍缩，变成了沿着规模扩张高速公路展开的一场单一而疯狂的竞赛。

这就是“大遗忘”的起点。

在短得惊人的时间里，2010 年代丰富而多元的研究历史被遮蔽了。新一代研究人员完全可以只在 LLM 范式内建立自己的整个职业生涯，而他们对其他架构或学习框架的了解，则退居次要位置，甚至逐渐退化为残余知识。

整个领域的智力投入，从发明新型引擎，转向了为那台已经证明自己拥有压倒性力量的引擎设计更好的仪表盘和涡轮增压器。

“Scaling Laws”论文将这种收敛正式固化下来，把一场高风险赌注变成了一门可预测的科学。

它提供了一套工程驱动的公式：投入 X 的 compute，就能获得可预测的 Y 性能提升。

竞争优势由算法上的创造力，转向了资本与 compute 的积累。这形成了一套强大且不断自我强化的激励结构，并渗透到整个领域之中。

对于一名刚入学的 PhD 学生来说，通往高影响力论文和顶级职位的最快路径，已经不再是探索小众架构，而是研究 LLM。对于实验室和大学而言，资金会追随热潮。对于大型玩家而言，这已经成为一场争夺市场主导权的生存竞赛。激励机制的全面趋同，使探索主流路径之外的想法变成了一种需要勇气的行为，也直接影响了年轻研究人员所学知识的质量与多样性。

结果就是我们今天看到的单一文化：最受追捧的创新，往往只是一些聪明的工具，用来绕过规模化 Transformer 与生俱来的局限。

看看当前占据主导地位的几个子领域：

Prompt Engineering 是一种精心设计模型输入的实践，而模型内部的推理过程在很大程度上依然不透明。

Retrieval-Augmented Generation（RAG）是一种必要且巧妙的系统级架构，用于缓解静态知识和 hallucination 这些已知的失效模式。

Parameter-Efficient Fine-Tuning（PEFT）方法，例如 LoRA，是一类复杂的效率优化技术。之所以需要这些技术，是因为我们想要适配的模型规模实在过于庞大。

这些都是有价值且重要的领域，但它们属于下游适配。它们是大收敛的症状：把规模化 Transformer 当作不可改变的基础接受下来，而不是质疑这个基础本身。T

这场遗忘最后也是最具讽刺意味的一层，来自这种单一文化亲手创造的工具。有了强大的 AI 助手，人们发展深层次基础知识的动力便被削弱了。

人们可以更轻松地成为一名“临时专家”，完成某项具体任务，然后转眼就忘掉其中的细节。这不利于保留真正持久的深刻见解，而这种知识沉淀恰恰是过去研究工作的重要标志。

图 2：LLM Scaling 的巨型单体

规模扩张的技术债与新路径探索

就在这种单一文化达到顶峰之际，它对规模扩张一心一意的追求所积累的技术债，也变得再也无法忽视。规模化 Transformer 的成功本身，暴露出了一系列无法通过进一步扩大规模来解决的根本限制。这些挑战正在定义下一波创新，迫使整个领域越过既有范式，重新发现寒武纪时代的多样性。

第一个也是最紧迫的问题，是架构瓶颈。

Transformer 的 self-attention 机制是实现并行化的关键，但其计算成本与内存成本会随输入序列长度呈平方级增长。这已经成为一道难以逾越的高墙：对于分析完整代码库、一本书或一部长篇电影等需要处理超长上下文的任务，其成本高到难以承受。

为应对这个问题，新一轮架构研究重新启用了循环式原理，试图突破这一瓶颈。Mamba 和 RWKV 等架构能够实现线性时间扩展，在处理长序列时效率大幅提高，同时保持有竞争力的性能。它们证明了这样一件事：事实上，attention 并不是你所需要的一切。

第二项挑战来自数据范式。规模扩张假设建立在一个前提上：互联网是一种看似无限的资源。如今，我们正在直面这一假设的边界。

高质量文本数据的供应是有限的，研究人员还开始担忧“model collapse”。这是一种退化过程：当模型使用其他模型生成的合成输出来训练时，它们会逐渐丧失保真度。

这迫使人们重新审视“数据越大越好”的理念。Microsoft 的 Phi 系列模型直接挑战了这一观点，并证明数据质量是一个比单纯数量更关键的杠杆。

通过使用经过精心筛选的“教科书级”数据来训练更小的模型，它们获得了足以媲美自身规模 25 倍模型的能力。这重新定义了竞争格局：优势可能属于那些能够筛选出最佳数据的人，而不只是那些负担得起最多 compute 的人。

最后，权力集中在少数大型实验室手中，也催生出一股强大的逆流：草根式的 Local AI 运动。在 Meta 的 Llama 系列等开放模型，以及 VLLM 等高效 inference engine 的推动下，这场运动通过在消费级硬件上运行强大的模型，将 accessibility、privacy 和用户控制权放在首位。

这不只是一种实践层面的转变，还为效率创造了强大的进化压力。Local 范式要求模型不仅能力强，还必须体积小、速度快，这直接推动了高效架构和以数据为中心的训练方法研究。

逃离局部最优

一心追求规模扩张，是 AI 历史上一个必要且成果丰硕的篇章。

它释放了 LLM 非凡的涌现能力，也奠定了新的技术基础。然而，它所引发的“大遗忘”缩窄了整个领域的思想视野，这是一个真实而紧迫的问题。

正在涌现的替代方案向我们表明，那些一度被遗忘的路径——架构多样性、以数据为中心的科学，以及算法效率——并非死路。事实上，它们对于 AI 下一阶段的演进至关重要。

创新的未来很可能不是 Scaling Laws 的简单外推，而是一场全新的融合：第二次寒武纪大爆发。它将规模时代所发现的原始力量，与此前那个时代所具备的多样性、效率和创造力结合起来。

图 3：在当前巨型单体的限制之内寻找新路径