大模型膨胀：性能增长与成本困局

计算机领域一项标志性的成就是数据压缩¹：我们输入数据，在保留全部信息的前提下将其缩小（“无损”压缩），传输出去，再由另一端将其解压，还原成原始数据。

多年以来，要想完成许多事情，压缩都是不可或缺的：存储设备的容量不足以容纳我们想要保存的数据，网络速度也太慢，无法以可以接受的速度传输我们想要传输的内容。

如今，压缩不再像过去那样经常成为硬性要求，但它仍然能切实改善我们的生活。例如，你现在正在阅读的这个页面，几乎可以肯定是以压缩形式传输到你面前的。花时间让这套机制正常运作是值得的，因为这样一来，我的网站可以更快地显示在你的屏幕上，同时也减轻了服务器的负载。

正因如此，看到我们在 2025 年有时竟然开始反其道而行之，实在令我忍俊不禁。

来看一个简单的例子。Bob 因工作需要一台新电脑。为了申请一台新的工作电脑，他必须撰写一份四段式的商业论证，解释新电脑为什么能够提高他的工作效率。对我们大多数人来说，组织这些必要的文字是一件痛苦的事，于是 Bob 打开当下流行的 LLM，输入：“Please create a 4 paragraph long business case for my manager, explaining why I need to replace my old, slow computer”，然后把生成的结果复制到电子邮件中。

Bob 的经理收到四段密密麻麻的文字，从第一行就意识到，自己必须仔细读完整封邮件，才能弄明白 Bob 提出了什么请求，以及为什么提出这个请求。于是，他把邮件复制到当下流行的 LLM 中，并在开头输入：“Please summarise this email for me in one sentence”。四段文字被概括成一句话：“发件人需要一台新电脑，因为他目前的电脑又旧又慢，导致工作效率低下。”经理批准了这项申请。

我开始把这种模式称为“LLM 膨胀”——我已经在截然不同的场景中多次看到它发生。使用 LLM，可以非常轻松地把简短、直白的内容扩展成冗长且看似深刻的文字；同样，也可以使用 LLM，把冗长且看似深刻的内容压缩成简短、直白的表达。

我们正在使用 LLM 制造这种膨胀，但这不应该被理解为对这些出色工具的批评。不过，它或许应该促使我们思考：为什么我们会发现自己在不断膨胀内容？往好处说，我们是在变相奖励故弄玄虚和浪费时间；往坏处说，我们是在允许人们用文字掩盖思考不清的问题。我想，我们其实一直都知道这一点，只是 LLM 让我们得以亲眼看清这个问题究竟严重到了什么程度。也许，这会推动我们作出改变！

当然，还有信息论，不过本文更关注的是实际影响。

当然，还有信息论，不过本文更关注的是实际影响。