LLM推理加速的两个实用技巧

Anthropic 和 OpenAI 最近都宣布了"快速模式"：以显著更高的速度与他们最好编码模型交互的一种方式。

这两个版本的快速模式差异很大。Anthropic 的提供高达每秒 2.5 倍的 tokens（约 170 个，相比 Opus 4.6 的 65 个），而 OpenAI 的提供超过每秒 1000 个 tokens（相比 GPT-5.3-Codex 的 65 tokens，提升 15 倍）。所以 OpenAI 的快速模式比 Anthropic 的快六倍。

然而，Anthropic 的巨大优势是他们提供的是真实的模型。当你使用他们的快速模式时，得到的是真正的 Opus 4.6，而当你使用 OpenAI 的快速模式时，得到的是 GPT-5.3-Codex-Spark，而非真正的 GPT-5.3-Codex。Spark 确实快得多，但能力明显较弱：虽然足以完成许多任务，但会在工具调用上出现混淆和错误，这是普通 GPT-5.3-Codex 永远不会犯的。

为什么有这些差异？这两家 AI 实验室没有公布其快速模式的技术细节，但我非常确信大概是这样的：Anthropic 的快速模式由低批处理规模推理驱动，而 OpenAI 的快速模式由特殊的 Cerebras 超级芯片驱动。让我稍微展开解释。

Anthropic 的快速模式如何工作

AI 推理经济学的核心权衡在于批处理，因为主要瓶颈是内存。GPU 速度很快，但将数据移入 GPU 并不快。每个推理操作都需要在推理开始前将用户提示的所有 tokens 复制到 GPU。因此，对多个用户进行批处理会增加总体吞吐量，但代价是让用户等待批处理填满。

一个很好的类比是公交系统。如果你对乘客完全不进行批处理——每当有人上车就立即发车——对那些上车的人来说通勤会快得多。但显然总体吞吐量会低得多，因为乘客需要在站点等待数小时才能真正上车。

Anthropic 的快速模式方案基本上就是一张公交卡，保证一旦你上车就立即发车。成本是正常票价的六倍，因为你实际上在为所有可能与你同车的其他人付费，但速度快得多，因为你无需等待批处理填满。

编辑：我想感谢一位读者指出，"等待公交车"的成本实际上只在第一个 token 上产生，所以不会影响流式延迟（只影响每轮或工具调用的延迟）。因此更好的理解方式是：批处理大小的性能影响主要来自较小的批次需要更少的浮点运算，因此执行更快。在我的类比中，可能是"轻一点的公交车跑得更快"之类的。

显然我无法完全确定这就是原因。也许他们可以使用某些全新的超快速计算硬件，或者采用了某些算法技巧。但我很确定是这样。全新硬件或算法突破可能需要修改模型（见下面 OpenAI 的方案），而"贵六倍以换取快 2.5 倍"正好处于切换到低批处理模式预期的改进范围内。

OpenAI 的快速模式如何工作

OpenAI 的快速模式根本不是这样。你可以从一个事实看出这一点：他们为此引入了一个全新的、性能更弱的模型。如果只是调整批处理大小，根本没有理由这样做。而且，他们在公告博文中明确告诉我们什么支撑他们的快速模式：Cerebras。

OpenAI 在一月份宣布了与 Cerebras 的合作。什么是 Cerebras？他们制造"超低延迟计算"芯片。在实践中这意味着他们制造巨大的芯片。H100 芯片（接近推理芯片前沿水平）仅比一平方英寸略大。而 Cerebras 芯片是 70 平方英寸。

从图片上可以看到 Cerebras 芯片表面有网格和孔洞的图案。这是因为这么大的硅晶圆本应被切割成几十个芯片。但 Cerebras 在整个晶圆上蚀刻了一个巨大的芯片。

芯片越大，其内部内存越充足。他们的想法是拥有足够大的 SRAM 来容纳整个模型，这样推理可以完全在内存中进行。通常 GPU SRAM 的容量是数十兆字节。这意味着推理时间的很大一部分花在从 SRAM 外部流式传输模型权重到 GPU 计算单元。如果能从（快得多的）SRAM 流式传输所有权重，推理性能会有巨大提升——事实上快 15 倍！

那最新的 Cerebras 芯片有多少内部内存呢？44GB。这把 OpenAI 置于相当尴尬的位置。44GB 足以容纳一个小模型（fp16 下约 20B 参数，int8 量化下约 40B 参数），但显然不足以放下 GPT-5.3-Codex。这就是为什么他们要推出全新模型，以及 Spark 模型带有"小模型气质"的原因：它是更大 GPT-5.3-Codex 的一个较小蒸馏版本。

编辑：我在这一点上是错的——Codex 模型几乎肯定比这大得多，不需要完全装进单个芯片的 SRAM（如果需要，我们会看到更快的速度）。感谢 Hacker News 评论者的纠正。但我仍然认为 Spark 很可能是 SRAM 常驻的（分散在多个 Cerebras 芯片上），这是推动速度提升的原因。

OpenAI 的方案在技术上更令人印象深刻

有趣的是，两家主要实验室采取了两种迥然不同的方法来构建快速 AI 推理。如果一定要我提出一个阴谋论，大概是这样的：

OpenAI 在 1 月中旬与 Cerebras 合作，目的是将 OpenAI 模型部署在快速 Cerebras 芯片上

Anthropic 没有类似的选项，但他们知道 OpenAI 会在 2 月宣布某种超快推理，希望在新闻周期中有所作为

Anthropic 因此匆忙推出他们能提供的快速推理方案：只是降低现有推理堆栈的批处理规模

Anthropic 可能在 OpenAI 完成更复杂的 Cerebras 实现前几天才宣布，这样看起来像是 OpenAI 模仿了他们

显然 OpenAI 在这里的成就在技术上更令人印象深刻。让模型在 Cerebras 芯片上运行并不简单——这些芯片太独特了。训练 GPT-5.3-Codex 的 20B 或 40B 参数蒸馏版本，使其保持足够的能力，也不简单。但我必须为 Anthropic 点赞，他们找到了一个巧妙的方式在宣布前抢先发布，且对非技术人士基本不透明。这让我想起 OpenAI 在 2025 年中期巧妙推出 Responses API 来掩盖他们的推理 tokens。

快速 AI 推理是下一个大事吗？

看到两家主要实验室都推出这个功能，你可能会认为快速 AI 推理是他们的新目标。但我不认为是这样。如果我的理论正确，Anthropic 并不太关心快速推理，只是不想落后于 OpenAI。而 OpenAI 主要是在探索他们新 Cerebras 合作的能力。目前仍是一个开放问题：什么样的模型能装进这些巨大芯片，这些模型有多有用，经济学是否可行。

我个人不认为"快速但能力较弱的推理"特别有用。我一直在 Codex 中尝试它，不太喜欢。AI agents 的有用性主要取决于他们犯多少错，而不是原始速度。以 20% 的错误率增加换取 6 倍速度是笔坏生意，因为用户大部分时间花在处理错误而非等待模型。

不过，快速、能力较弱的推理完全有可能成为 AI 系统中的核心低级原语。Claude Code 已经在某些操作中使用 Haiku。也许 OpenAI 最终会以类似方式使用 Spark。

编辑：这篇文章在 Hacker News 上有一些很好的讨论。首先，一个重要纠正：Cerebras 已经提供约 355B 参数的模型 GLM-4.7，运行速度达每秒 1000 tokens，所以我关于 Spark 装进单个芯片 SRAM 的说法是错的。他们很可能是将 Spark 分片分布在多个 Cerebras 芯片上，就像处理 GLM-4.7 一样。

许多评论者就批处理的性能特性与我（以及彼此）意见不同。有人说连续批处理意味着没人需要等待，或者对 Anthropic 模型的请求量大到批处理等待时间可忽略不计。还有人对芯片间通信是否在推理中成为瓶颈，或链接多个芯片是否影响吞吐量有不同看法。

我只对连续批处理有外行级理解，但我认为你仍需等待一个处理槽位释放（即使不是等整个前面批次完成），所以批处理规模的吞吐量/延迟权衡仍然适用。

编辑：一位读者提出了关于 Anthropic 快速 AI 模式的另一个令人信服的解释——他们使用了更激进的推测性解码，虽然消耗更多 tokens，但可能以明显更高成本提供 2.5 倍加速（因为很多大模型推导并行进行后被丢弃）。我不确定是否 100% 相信——我有把握大实验室已在做推测性解码，而且序列越长可靠性越低——但这当然是可能的。

更不用说延迟了。Anthropic 明确警告首 token 的时间可能仍然很慢（甚至更慢），而 OpenAI 认为 Spark 延迟足够快，值得切换到持久 websocket（即他们认为握手的 50-200ms 往返时间是首 token 时间的重要部分）。↩

更不用说延迟了。Anthropic 明确警告首 token 的时间可能仍然很慢（甚至更慢），而 OpenAI 认为 Spark 延迟足够快，值得切换到持久 websocket（即他们认为握手的 50-200ms 往返时间是首 token 时间的重要部分）。

以前面 tokens 的 KV-cache 形式，或如果推理通过多个 GPU 流水线传递的中间激活张量。我在《Why DeepSeek is cheap at scale but expensive to run locally》中写过很多，因为它解释了为什么 DeepSeek 能以如此低廉的价格提供（大规模批处理允许巨大昂贵 GPU 获得规模经济，但个人消费者根本无法享受）。↩

以前面 tokens 的 KV-cache 形式，或如果推理通过多个 GPU 流水线传递的中间激活张量。我在《Why DeepSeek is cheap at scale but expensive to run locally》中写过很多，因为它解释了为什么 DeepSeek 能以如此低廉的价格提供（大规模批处理允许巨大昂贵 GPU 获得规模经济，但个人消费者根本无法享受）。

低批处理规模意味着低吞吐量，但这个快速通行证系统为用户提供更高吞吐量，这不矛盾吗？不矛盾。当某些用户使用"快速模式"时，GPU 的总体吞吐量更低，但这些用户的吞吐量更高。↩

低批处理规模意味着低吞吐量，但这个快速通行证系统为用户提供更高吞吐量，这不矛盾吗？不矛盾。当某些用户使用"快速模式"时，GPU 的总体吞吐量更低，但这些用户的吞吐量更高。

记住，GPU 很快，但将数据复制到 GPU 不快。每个"将权重复制到 GPU"步骤都是总体推理时间的重要部分。↩

记住，GPU 很快，但将数据复制到 GPU 不快。每个"将权重复制到 GPU"步骤都是总体推理时间的重要部分。

或者某个更强大基础模型（GPT-5.3-Codex 本身可能也来自它）的较小蒸馏。我不清楚 AI 实验室具体怎么做的，他们对此讳莫如深。更多信息在这里。↩

或者某个更强大基础模型（GPT-5.3-Codex 本身可能也来自它）的较小蒸馏。我不清楚 AI 实验室具体怎么做的，他们对此讳莫如深。更多信息在这里。

有趣的是 Cursor 的热度基本上在他们发布自己的"快得多但能力弱一些"agent 模型时消散了。当然，这很大程度是 Claude Code 吸尽所有关注，但拥有一个超快的模型肯定没帮助。↩

有趣的是 Cursor 的热度基本上在他们发布自己的"快得多但能力弱一些"agent 模型时消散了。当然，这很大程度是 Claude Code 吸尽所有关注，但拥有一个超快的模型肯定没帮助。

如果你喜欢这篇文章，可以考虑订阅我的新文章电子邮件更新，或在 Hacker News 上分享。

这是一篇与本文共享标签的相关文章预览。

AI 如何影响技能形成？

两天前，Anthropic Fellows 计划发布了一篇论文《How AI Impacts Skill Formation》。像其他关于 AI 的论文一样，这一篇也被作为 AI 令人变慢变笨的证据。它真的证明了吗？

这篇论文的结构有点类似 2025 年 MIT 的研究《Your Brain on ChatGPT》。他们找了一组人来完成一项需要学习新技能的认知任务：这里是 Python Trio 库。其中一半的人被要求使用 AI，另一半被禁止使用。研究人员然后对这些人进行测试，看他们对 Trio 保留了多少信息。继续阅读...