LLM 成本困局：OpenAI 和 Anthropic 的推理赔钱分析

我总是听人说 AI 有多么烧钱，尤其是在 inference（推理）方面。虽然这种说法乍看之下似乎合情合理，但我一直对这类观点心存疑虑，于是决定深入研究一下。

我还没见过有人真正尝试拆解大规模运行 inference 的成本，而这背后的经济账让我非常感兴趣。

说到底，这只是粗略的餐巾纸计算。我没有大规模运行 frontier model（前沿模型）的经验，但我非常了解在云端运行超高吞吐量服务的成本和经济模型，也清楚 hyperscaler（超大规模云服务商）相较于裸金属服务器有着多么惊人的利润率。非常欢迎大家指正。

我这里只考察原始计算成本。这显然是极度简化的分析，但考虑到当前模型已经如此实用——即便假设它们不再取得任何进步——我仍想对这样一种观点做一次压力测试：所有人都在 inference 上亏损巨额资金，以至于这种模式完全不可持续。

我把单张 H100 的成本设定为每小时 2 美元。实际上，这比当前按需租用的零售价格还要高，而且我（希望）大型 AI 公司能够以这个价格的一小部分拿到这些 GPU。

其次，我会以 DeepSeek R1 的架构作为基准：总参数量 671B，通过 mixture of experts（MoE，混合专家）激活其中 37B。考虑到它的性能与 Claude Sonnet 4 和 GPT5 大致相当，我认为这是一个合理的假设。

反向推算：从第一性原理计算 H100 成本

我们先从一个现实的生产环境配置开始。我假设使用一个由 72 张 H100 组成的集群，每张每小时 2 美元，总成本就是每小时 144 美元。

考虑到生产环境的延迟要求，我为每个模型实例设置了 32 个并发请求的 batch size，这比 benchmark 中常见的超大 batch 更贴近现实。每个模型实例通过 tensor parallelism（张量并行）横跨 8 张 GPU，因此在这 72 张 GPU 上可以同时运行 9 个模型实例。

每张 H100 拥有约 3.35TB/s 的 HBM 带宽，这会成为大多数工作负载的瓶颈。37B 激活参数在 FP16 精度下需要 74GB，因此每个实例每秒大约可以完成 3,350GB/s ÷ 74GB = 45 次 forward pass（前向传播）。

关键在这里：每次 forward pass 会同时处理所有序列中的所有 token。假设一个 batch 包含 32 个序列，每个序列平均 1,000 个 token，那么每次 forward pass 就会处理 32,000 个 token。这意味着每个实例每秒可以处理 45 次 × 32k token = 144 万个 input token。9 个实例合计每秒可以处理 1,300 万个 input token，也就是每小时 468 亿个 input token。

现实中，由于使用了 MoE，同一个 batch 中的不同 token 可能需要加载不同的 expert 组合。如果这些 token 被路由到各不相同的 expert，吞吐量可能会下降到原来的二分之一或三分之一。不过在实践中，路由模式通常会集中在一些热门 expert 上，而且现代实现会采用 expert parallelism（专家并行）和 capacity factor（容量因子）等技术来维持效率。因此，实际影响更可能是吞吐量下降 30%～50%，而不是最坏情况下的结果。

output 生成则完全是另一回事。在这里，token 是按顺序生成的——每次 forward pass，每个序列只能生成一个 token。因此，每秒 45 次 forward pass，每个实例也只能生成 45 × 32 = 1,440 个 output token。9 个实例合计每秒生成 12,960 个 output token，也就是每小时 4,670 万个 output token。

这种不对称性极其显著：144 美元 ÷ 46,800M = 每百万 input token 0.003 美元，而 144 美元 ÷ 46.7M = 每百万 output token 3.08 美元。两者相差一千倍！

计算何时会成为瓶颈

前面的计算假设 memory bandwidth（内存带宽）是限制因素，这对典型工作负载来说确实成立。但在某些场景中，compute（计算能力）会成为瓶颈。对于长上下文序列，attention 的计算量会随着序列长度呈平方增长。采用超大 batch size、并行处理更多 attention head，也可能让工作负载转为 compute-bound（受计算能力限制）。

一旦上下文长度达到 128k 以上，attention matrix 就会变得极其庞大，工作负载也会从 memory-bound（受内存限制）转为 compute-bound。对于超长上下文，这可能会让成本增加 2～10 倍。

这也解释了一些有趣的产品决策。Claude Code 人为地将上下文限制在 200k token——这不只是出于性能考虑，也是为了让 inference 留在成本较低的 memory-bound 区间，避免进入昂贵的 compute-bound 长上下文场景。这同样解释了为什么服务商会对 200k 以上的 context window 额外收费：它背后的经济模型发生了根本性变化。

真实用户的经济账

总结一下，根据我对成本的逆向推算，我怀疑真实情况如下（再次提醒，这里采用的还是 H100 的零售租用价格）：

input 处理基本免费（每百万 token 约 0.001 美元）

output 生成确实存在实际成本（每百万 token 约 3 美元）

这些成本与 DeepInfra 托管 R1 的收费基本吻合，区别在于 input token 的加价幅度要高得多。

每月 20 美元的 ChatGPT Pro 用户：每天高强度使用，但 token 限制为每天 100k。假设 70% 是 input、30% 是 output：实际成本约为每月 3 美元，OpenAI 的加价倍数为 5～6 倍。

假设 70% 是 input、30% 是 output：实际成本约为每月 3 美元。

OpenAI 的加价倍数为 5～6 倍。

这就是典型的重度用户：每天使用模型进行写作、编程和一般性查询。这里的经济账很健康。

Claude Code Max 5 用户（每月 100 美元）：每天进行 2 小时高强度编程，约 2M input token、约 30k output token/天。大量使用 input token（成本低廉的并行处理），output 极少。实际成本：约每月 4.92 美元 → 加价倍数为 20.3 倍。

约 2M input token、约 30k output token/天。

大量使用 input token（成本低廉的并行处理），output 极少。

实际成本：约每月 4.92 美元 → 加价倍数为 20.3 倍。

Claude Code Max 10 用户（每月 200 美元）：每天进行 6 小时超高强度使用，约 10M input token、约 100k output token/天。input token 数量极其庞大，但生成的 token 相对较少。实际成本：约每月 16.89 美元 → 加价倍数为 11.8 倍。

约 10M input token、约 100k output token/天。

input token 数量极其庞大，但生成的 token 相对较少。

实际成本：约每月 16.89 美元 → 加价倍数为 11.8 倍。

开发者用例才是这种经济模型真正大放异彩的地方。Claude Code 这类 coding agent 天生就有着极度不对称的使用模式：它们会输入整个代码库、文档、stack trace、多个文件和大量上下文（成本低廉的 input token），却只需要生成相对较少的内容，比如代码片段或解释。这与 input 几乎免费、output 昂贵的成本结构完美契合。

C. API 利润率

当前 API 定价：每百万 token 收取 3/15 美元，而实际成本约为 0.01/3 美元。

利润率：毛利率达到 80%～95% 以上。

API 业务本质上就是一台印钞机。这里的毛利率更像软件业务，而不是基础设施业务。

这项分析做出了许多假设，其中一些很可能并不正确。但即便假设我们的估算存在 3 倍误差，这套经济模型看起来依然有着很高的利润。即使按照 H100 的零售价格计算，原始计算成本也表明，AI inference 并不是许多人声称的那种不可持续的无底洞。

大多数人忽略的关键一点，是 input 处理的成本与 output 生成相比低得多，而且差距大得惊人。我们谈论的是上千倍的成本差异——每百万 input token 约 0.005 美元，而每百万 output token 则超过 3 美元。

这种成本不对称解释了为什么某些用例利润丰厚，而另一些用例可能举步维艰。“重度阅读型”应用——消耗海量上下文、但只生成极少 output 的应用——其计算成本几乎处于免费区间。对话式 Agent、处理整个代码库的编程助手、文档分析工具和研究类应用，都能从这种动态中获得巨大收益。

视频生成则代表了这种成本结构的另一个极端。视频模型可能只接收一条简单的文本 prompt 作为 input——或许只有 50 个 token——却需要生成数百万个 token 来表示每一帧画面。当系统需要根据极少的 input 生成巨量 output 时，经济账就会变得极其残酷。这也解释了为什么视频生成仍然如此昂贵，以及为什么这类服务要么收取高价，要么严格限制使用量。

“AI 贵得不可持续”这种叙事，可能更多是在维护行业巨头的既得利益，而非反映真实的经济状况。当现有巨头不断强调巨额成本和技术复杂性时，会让其他人不敢参与竞争，也不愿投资替代方案。但如果我们的计算哪怕只是大致准确——尤其是在以 input 为主的工作负载中——那么实现 AI inference 盈利的门槛，可能远低于人们的普遍认知。

不要把成本炒作得太高，以至于人们忽略了最基本的经济账。我觉得十几二十年前，所有人都在 hyperscaler 的云计算成本问题上吃过这一套，并最终让它们变成了印钞机。如果不谨慎，我们最终会在 AI inference 上重蹈覆辙。