8.0
热点
AI SCORE
编程提效2026-10-01 08:55
不改代码实现LLM API成本降低70%
dev.to · AI#成本优化#API路由#LLM
Editor brief · 编辑速览
通过请求路由层重构打通风控模型与定价差异，实现月均50万次调用从200美元降到60美元，延迟和质量不变。
我每月在 AI API 上花费 200 美元，现在降到了 60 美元，而我的应用运行效果完全一样。延迟相同、响应质量相同、用户体验相同。唯一改变的是我路由请求的方式。
让我带你看看我是怎么做的，因为搭建这套方案大约花了三个小时，从那以后每个月都在为我省钱。
我的应用用 GPT-4o 做对话补全、用 Claude 生成长文本内容、用一个定制的微调模型做分类任务。当初构建时，我选模型只看质量，然后直接硬编码调用。每次调用都直连开发时选定的提供商。
问题是直接集成会让你锁定在某个提供商的定价上。如果你真的坐下来比较一下各家对类似质量输出的定价差异，会发现这个差距相当惊人。
我每月大约处理 50 万次 API 调用。说大不大，但也不算少。按各工作负载平均每百万 token 约 0.40 美元，其中大部分是输出 token（这些总是更贵的），我平均每月账单约 200 美元。当使用量飙升到 70 万次调用时，账单达到了 280 美元。
痛点不只是绝对数字本身。而是我眼睁睁看着这个数字不断增长，却知道如果不重写大量集成代码，就几乎无能为力。
我发现了问题所在：模型价格经常变动，而任务的"最佳"模型也会随时间推移而改变。但我的代码里到处都是硬编码的端点和模型名。从一个提供商切换到另一个意味着要改动几十个文件。
我记得凌晨 11 点坐在那里，看着一个本质上是对 API 端点做全局查找替换的 Git diff，心里想着肯定有更好的办法。
确实有更好的办法。它叫做 AI 网关。
我的代码不再直接调用 OpenAI、Anthropic 或任何提供商，而是调用一个端点。这个端点处理路由、负载均衡和故障转移。我的应用代码不知道也不关心实际是哪个提供商在服务这个请求。
配置是这样的：
import requests
# Before: direct call to OpenAI
# response = openai.chat.completions.create(model="gpt-4o", messages=messages)
# After: gateway call, same interface
response = requests.post(
"https://my-gateway.example.com/v1/chat/completions",
headers={"Authorization": "Bearer my-gateway-key"},
json={
"model": "gpt-4o", # still specify what you want
"messages": messages,
"max_tokens": 500
}
)
网关接收我的请求，检查当前哪个提供商对该模型类别报价最优，然后相应路由。它还处理速率限制、重试和负载均衡。
关键在于接口与提供商格式相匹配。我不需要改动任何现有逻辑。网关呈现的 API 规范与各大提供商使用的完全一致，所以我的代码、提示词、日志都保持原样。
以下是节省成本的真正来源分析：
最大的收益是让网关来选择由哪个提供商服务请求。对于休闲聊天补全，各提供商在类似模型上的价格差异约为 30-40%。通过随时路由到质量足够且最便宜的提供商，我立即削减了这部分成本。
我之前对所有任务都使用同一种高端模型。实际上，我的大量请求并不需要最智能的模型可用。简单的分类、基本的信息提取或快速摘要任务，用更小更快的模型就能很好地完成，而且每 token 成本降低约 70%。
网关让我设定规则：如果请求被归类为"简单"，就路由到更便宜的模型。只有复杂的推理任务才走顶级模型。我的质量指标纹丝不动，但成本却降下来了。
这一点我稍微折腾了一下。网关会缓存相同的请求，我之前甚至没意识到自己发了这么多重复请求。当同一个请求第二次到来时，它直接返回缓存的响应。我的缓存命中率现在是 18%，听起来不高，但这 18% 的调用我一分钱都不用付。
这是最大的观念转变。我之前在多个提供商那里持有固定的 API 额度，每月支付最低费用，却让那些钱闲置在那里。当我转向按量付费的路由模式后，就不再为未使用的容量付费了。
运行一个完整月后的成本对比：
That's a 68% reduction, and it's been consistent for three months now.
如果你正在考虑这样做，以下是实际需要的东西的坦诚分析：
大多数网关用 YAML 或 JSON 规则配置。我的配置有两个关键部分：
providers:
- name: openai
base_url: https://api.openai.com/v1
api_key: env.OPENAI_KEY
- name: anthropic
base_url: https://api.anthropic.com/v1
api_key: env.ANTHROPIC_KEY
routes:
- pattern: "classification"
provider: openai
model: gpt-3.5-turbo
- pattern: "long-form"
provider: anthropic
model: claude-3-5-sonnet
- pattern: "general"
provider: cheapest_available
model: auto
让我惊讶的是：对于一个有 60 多个集成点的应用，迁移花了大约三个小时。
不需要改代码。不需要改提示词。切换就是一个配置变更。
我想坦诚地说明其中的复杂之处，因为它们是真实存在的：
Token 计数差异
不同提供商对计费的 token 计数方式略有不同。Anthropic 眼中的"token"并不总是与 OpenAI 的定义完全一致。你的计费计量可能显示与网关报告的不同用量。我不得不在内部成本追踪中添加一个归一化层。
低价套餐的速率限制
免费或更便宜的套餐通常有高级套餐没有的速率限制。当我把更多流量路由到预算提供商时，在几个高流量日遇到了速率限制。网关的重试逻辑处理了这个问题，但我必须调整重试退避以避免轰炸。
质量差异
没有任何两个模型是完全相同的，即使它们在基准测试中得分相似。我的分类任务（在预算端使用 GPT-3.5-turbo）与高级模型相比给出了略有不同的置信度分数。我不得不将置信度阈值调整约 5% 以保持相同的精确度。
自从搭建好这套系统后，我养成了每周查看网关分析数据的习惯。一些提供商在之后的几个月里降价了 20-30%。网关会自动获取这些变化。
我还在试验投机性路由，即网关将前几个 token 发送给一个便宜的模型，然后评估是否在复杂响应中途升级。早期结果表明，在长生成任务上还能再节省 10-15%，不过基础设施会稍微复杂一些。
还有一件事：我转向了按量付费的网关服务，而不是自己运行基础设施。我不想在处理实际应用的同时还要维护负载均衡器、处理故障转移和监控正常运行时间。每请求费用很小，值得付出。
顺便说一下，我迁移到的网关是 tai.shadie-oneapi.com——这是一个按量付费的聚合器，不绑定月度订阅。你只需为它实际路由的提供商的 token 付费。我在比较聚合 API 定价时发现了它，这种不锁定供应商的模式吸引了我。
整个体验改变了我对 API 成本的看法。我以前把它们当作固定开销，现在它们成了一个可优化的变量，每个月都有一笔可观的节省。如果你每月在 API 调用上花费超过 100 美元，我真的建议你花一个下午来设置路由。数字会证明这是值得的。