如何将 AI 推理账单削减 40 倍：一家 AI 创业公司的迁移实战

如何将 AI 推理账单削减 40 倍：一家 AI 创业公司的迁移实战 | 前端进阶之旅

Full translation

完整中文译文

为什么我开始四处寻价

我在一家重仓 AI 的小型创业公司做工程负责人。我们规模不大——大概 40 人，几百万 ARR，和所有早期公司一样烧钱。但我们的基础设施成本开始变得很奇怪。AWS 还行。Postgres 还行。把我们吃干抹净的是推理。

当时几乎所有业务都在跑 GPT-4o。生产环境的摘要、分类、提取、RAG 增强，甚至一些轻量级的 Agent 循环。用 GPT-4o 因为它好用。用 GPT-4o 因为它就是能跑起来。用 GPT-4o 因为"买 IBM 不会失业"。

但在创业公司当 CTO 有一点：每一块钱都很重要。当你的烧钱速度决定了你是能拿到下一轮融资还是更痛苦地实现盈利，你就不会再接受"它就是能跑起来"作为理由了。你开始问："有没有一个便宜 40 倍但同样能跑起来的选项？"

于是我开始做基准测试。测试结果令人不安。

定价现实核查

让我直接说清楚我目前看到的数字。这是我实际正在支付——或者可以支付的——经过我们评估的所有提供商的价格：

再仔细看一遍 DeepSeek V4 Flash 那一行。每百万输出 token 0.25 美元。对比 GPT-4o 的 10.00 美元。这不是笔误。这是实际存在的价格差异，对于我们面临的结构化任务来说——至少在我们的用例中——质量是相当的。

当我用生产流量做了个粗略计算时，发现走 GPT-4o 路线我们每月大约要付 500 美元。换用 DeepSeek V4 Flash 处理同等工作量大概只需要 12.50 美元。

十二块五毛美元。

这不是打折。这是不同的费用类别。

厂商锁定问题

这里我得坦白我的偏见。在做现在这件事之前，我在企业软件领域干了十年。我见过团队被厂商锁定彻底拖垮。云服务商、数据库、CRM 系统。每个当时看起来很小的架构决策都在规模到来时变成了牢笼。

LLM 也不例外。OpenAI 的 SDK 确实封装得很薄。但一旦你的整个代码库都在 from openai import OpenAI，一旦你的 Prompt 已经针对 GPT-4o 的特定行为做了调优，一旦你的评估套件假定了某种特定的输出分布——你就建立了一个代价高昂的依赖，拆掉它要花很多钱。

好消息是？OpenAI 足够聪明，把 SDK 做成了一个干净的 REST API。坏消息是？大多数团队从未真正利用这个可移植性。他们把 OpenAI 当成了平台，而不是模型。

我需要打破这个思维定式。模型才是产品。SDK 只是管道。而管道应该是可替换的。

我们实际做对了什么

我就不粉饰了。技术迁移大概花了我一个下午。战略决策花的时间更长，因为我要说服自己——以及我的联合创始人——我们不是在用质量换成本。

完整方案如下：

第一步：识别你的支出

拉出你的 OpenAI 账单。按模型拆开。我保证你会惊讶。我们以为 GPT-4o-mini 在做更多的工作。其实没有。我们一直在为那些根本不需要 GPT-4o 质量的任务付 GPT-4o 的价格。

这就是核心的 ROI 洞察。不是每个调用都需要最聪明的模型。大部分调用是结构化提取、分类、摘要——这些事情上一个更便宜的模型在误差范围内和 GPT-4o 表现相当。

第二步：评估一个"即插即用"的替代品

让我决定用 Global API 的不是价格。是 API 表面和 OpenAI 完全一致。同样的请求格式、同样的响应格式、同样的流式行为、同样的函数调用、同样的 JSON 模式。所有重要的东西都一样。

这对迭代速度意义重大。我不需要重写服务层。不需要重构 Agent。改两行代码，指向一个不同的端点，就完事了。

让我展示真实的 diff：

# Before: OpenAI
from openai import OpenAI

client = OpenAI(api_key="sk-...")

# After: Global API (DeepSeek V4 Flash)
from openai import OpenAI

client = OpenAI(
    api_key="ga_xxxxxxxxxxxx",
    base_url="https://global-apis.com/v1"
)

# Everything else stays exactly the same
response = client.chat.completions.create(
    model="deepseek-v4-flash",  # or any of 184 models
    messages=[{"role": "user", "content": "Hello!"}],
    temperature=0.7,
    max_tokens=500,
)

就这些。两个参数。api_key 和 base_url。Python openai SDK 不在乎它在跟哪个提供商通信——它只说 OpenAI 协议，Global API 也能说回来。

对于 Node 服务，迁移同样微不足道：

// Before: OpenAI
import OpenAI from 'openai';
const client = new OpenAI({ apiKey: 'sk-...' });

// After: Global API
import OpenAI from 'openai';
const client = new OpenAI({
  apiKey: 'ga_xxxxxxxxxxxx',
  baseURL: 'https://global-apis.com/v1',
});

// Everything else identical
const response = await client.chat.completions.create({
  model: 'deepseek-v4-flash',
  messages: [{ role: 'user', content: 'Hello!' }],
});

同样的库、同样的调用签名、同样的响应结构。我们甚至不需要更新 TypeScript 类型。

第三步：跑评估，而不是凭感觉

这是大多数团队搞砸的地方。他们换了模型，瞟了几眼输出，宣布胜利，然后上线。这就是三个月后边缘用例开始出现时被质量回退咬一口的方式。

我们有一套内部评估套件——大概 500 个 Prompt，覆盖主要用例，有预期输出和评分规则。我先用 GPT-4o 跑了一遍作为基线，然后再用 Global API 上的 DeepSeek V4 Flash 跑。接着是 Qwen3-32B。然后是 GLM-5。然后是 Kimi K2.5。

发现符合预期但有启发性：对于我们的结构化任务，更便宜的模型和 GPT-4o 的质量差距在 2-3% 以内。对于开放式生成任务，差距更大。所以我们做了路由。

这才是我真正推荐的架构。不要选一个模型。按用例选：

重推理、复杂 Agent、代码生成 → 继续用 GPT-4o 或 DeepSeek V4 Pro

摘要、分类、提取、RAG → DeepSeek V4 Flash

长上下文、多语言、奇怪格式 → Qwen3-32B

中档全能 → GLM-5 或 Kimi K2.5

这才是你真正得到 40 倍的地方。不是把 GPT-4o 整体替换掉。而是在质量不那么重要的地方做精准替换。

功能对比：你实际能得到什么

当供应商声称"OpenAI 兼容"时我会紧张，因为兼容性通常意味着"斜眼看勉强兼容"。所以让我具体说明 Global API 实际上覆盖了什么和没覆盖什么，基于我实际用它发过的东西：

对于大多数创业公司在做的 90% 的事情——聊天补全、流式输出、结构化输出、函数调用、图片输入——体验是一样的。我还没有遇到一个真正阻碍到我们的功能差距。

值得指出的两个差距：不支持微调（这没关系，在我们的规模下微调本身大多就是个坑），不支持 Assistants API（这也没关系，因为 Assistants API 本身大多就是个坑——自己写一个薄薄的编排层更好）。

如果你需要 TTS 或 STT，那是另一个类别。用 ElevenLabs，用 Deepgram，用 Whisper。别试图让你的 LLM 提供商什么都做。

如果从零开始我会这样构建

如果我从零开始，以下是我实际会做的：

把你的客户端包在一个薄抽象层里。 即便你从 OpenAI 开始，写一个带 complete() 方法的 LLMClient 接口。用一个实现来包装 OpenAI SDK。现在换提供商只是改个配置，不是重构。
追踪每次请求的成本。 加一个中间件，记录每次调用的 token 使用量和计算成本。你无法优化你无法衡量的东西。我们震惊于请求之间的差异有多大——有些调用成本是其他的 100 倍，因为 Prompt 膨胀了。
用对的模型做对的事。 这是真正的杠杆。别为 GPT-4o 能处理的任务付 GPT-4o 的价格。
建一个 fallback 链。 如果你的主提供商挂了，你想自动切换。有了 Global API 这样的 OpenAI 兼容 API，这很简单——同样的 SDK，不同的 base_url。

这是我们在生产环境里的 fallback 配置：

PRIMARY_CONFIG = {
    "api_key": os.getenv("OPENAI_KEY"),
    "base_url": "https://api.openai.com/v1",
}

FALLBACK_CONFIG = {
    "api_key": os.getenv("GLOBAL_API_KEY"),
    "base_url": "https://global-apis.com/v1",
}

def get_client(use_fallback=False):
    cfg = FALLBACK_CONFIG if use_fallback else PRIMARY_CONFIG
    return OpenAI(**cfg)

对主提供商做一个简单的健康检查，自动切换到 Global API，我们不会因为某家提供商某天状态不好就down机。厂商锁定不只是价格问题。它关乎韧性。而这个架构两样都给到了我们。

我学到的关于"生产就绪"

每个供应商的 pitch deck 里都会出现一个词："生产就绪"。每个 CTO 都被它坑过。供应商承诺 99.9% 可用性，你上线了，然后你发现他们的"生产就绪"意思是"我们有个 staging 环境"。

我不敢说对 Global API 做了超过几个月的可靠性研究。我能告诉你的是：我们把生产流量跑在上面三个月了——跨多个服务、多个模型、每小时数千请求——没有一次事故归因于这个提供商。延迟稳定。错误率稳定。OpenAI 兼容协议没有引入任何集成意外。

这就是我对"生产就绪"的全部要求。剩下的都是营销。

让我用钱来展示这对我们实际意味着什么：

以前： ~每月 500 美元用于生产负载的 GPT-4o 加每月 ~150 美元用于轻量级任务的 GPT-4o-mini 总计：每月 ~650 美元，每年 7,800 美元

现在： 每月 ~200 美元用于确实需要它的任务的 GPT-4o 每月 ~15 美元用于其他一切的 DeepSeek V4 Flash（通过 Global API）加每月专门工作上几百个请求的 Qwen3-32B：约 ~2 美元/月总计：每月 ~217 美元，每年 2,604 美元

节省：每年大约 5,200 美元。

对于一个 40 人的创业公司，这不是四舍五入的误差。这是跑道上意义重大的一截。这是多出来的一两个月运营时间。这是我们可以提前招的人或者可以推迟的融资。

一旦有了评估结果，ROI 计算只花了大概十分钟。

我会告诉过去的自己的话

如果我能回到十二个月前，我会说：

每季度审计一次你的 LLM 支出。 它比你想象的涨得更快。Prompt 膨胀是真的。Prompt 长度增加 10%，乘以数百万次请求，就是账单上一个真实的数字。

不要假设最贵的模型就是最好的选择。 跑评估。你会惊讶于便宜模型在结构化任务上多常能匹配质量。

从第一天就用 OpenAI 兼容的提供商。 即便你从 OpenAI 开始。SDK 里的 import 语句只是一行代码。把它变成配置只需要一分钟。而当账单开始膨胀时，你会庆幸自己做了这个决定的。