通过统一使用OpenAI兼容端点,将模型名称作为参数而非代码硬编码,实现一键切换DeepSeek、Moonshot等不同LLM提供商。
选型、构建、上线——一切都很顺利,直到问题来了。
也许是厂商的推理模型在复杂任务上掉了链子。也许是悄无声息的调价。也许是三个小时的宕机,而用户比你更早发现。不管导火索是什么,你现在面临的,是每个 LLM 开发者都头疼的迁移:新的 SDK、新的认证、新的计费、新的边界情况。
但其实,这件事本不必如此。
直接调用厂商接口时,你的模型选择就和代码库绑死了。这里一个 DeepSeek SDK,那里一个 Moonshot 的怪癖,十七个地方都写着 model="gpt-4o"。换厂商不是改个配置那么简单——而是一场迁移项目。
正确做法是故意写得"无聊":只针对一个 OpenAI 兼容端点构建,把模型当作一个字符串参数,改动只在一行之内。
from openai import OpenAI
client = OpenAI(
base_url="https://aibridge-api.com/v1",
api_key="mb-your-key",
)
# 今天用省钱模型...
client.chat.completions.create(model="deepseek-chat", messages=[...])
# ...明天换推理模型。同样的代码,只改一个字符串。
client.chat.completions.create(model="kimi-k3", messages=[...])
就这样。你已经在用的 OpenAI SDK,指向一个聚合了 15+ 模型能力的网关。DeepSeek、Kimi K3、GLM-4-Plus、Qwen——同一套 key、同样的流式响应、同样的 embeddings 端点。
你可以实际跑基准测试,而不是靠猜。当切换成本只有一个字符串时,你真的会拿三个模型跑一遍真实 prompt,然后选那个胜出的——而不是读个排行榜然后祈祷。
你可以按成本分流。简单请求(占 95% 流量)走便宜模型,难的任务(剩下的 5%)走旗舰模型。之前我们算过这笔账[在这里]——简而言之:你不用再为"总结一下这封邮件"这种需求付 $15/M output 的费用。
你可以对冲宕机风险。某家厂商降级了,改一行字符串就行。不需要重新部署,不需要蹲他们的状态页。
以及,那些无聊的细节都替你处理好了
免费额度:每月 500K tokens,自动重置,无需绑卡
充值:100 万 tokens 仅需 $2.99,1:1 透明计费,无过期、无倍数套路
Playground:写代码之前直接在浏览器里对比各模型效果
用量面板:按模型查看支出明细,知道该把哪块流量切走
厂商锁定不是提供商对你做的事。是你自己在代码里一个 model= 字符串一步歩亲手建起来的。
把接口和模型解耦,以后每次听到"这个模型变强了"或"那个提供商变差了",都只是一行配置的决定,而不是一次迁移。
15+ 模型,一个 OpenAI 兼容端点。改模型,不改代码。 🚀




