多模型应用如何统一路由、容错与预算
文章讨论以 AI 网关统一接入多个模型供应商,集中处理路由、故障回退及用量策略。切入点包括凭据分散、配置重复、重试不一致,以及成本归属和安全规则难以统一。
AI 深度解读
把多个模型接进应用,难点往往出现在接入之后:密钥散落在各个服务,重试规则互相叠加,费用难以归属,供应商故障又会直接传到业务。原文主张在应用与模型供应商之间增加 AI Gateway,把模型访问变成一项统一管理的基础设施能力。
对前端和全栈开发者,最有用的是它划清了几组容易混淆的边界:选模型与选供应商、重试与故障切换、接口兼容与能力兼容,以及预算提醒与严格费用上限。这些区别会直接影响 AI 应用的可靠性。
网关负责模型入口,谁负责选对模型?
AI Gateway 是应用访问模型的统一入口,集中处理认证、供应商路由、额度和故障。Model Provider 提供推理服务;AI SDK 提供 generateText、streamText、结构化输出和工具调用等应用接口;Agent Runtime 则负责规划、工具执行、记忆与编排。它们可以配合,职责不同。
原文把路由拆成几层。任务选择决定分类请求用快速模型、复杂分析用推理模型,通常由应用或独立分类服务负责。供应商路由决定同一个模型由哪里提供,例如 Claude Sonnet 可以通过 Anthropic、Vertex 或 Bedrock 访问。部署负载均衡则在多个部署之间按权重、负载或延迟分配流量。
因此,不能接上网关就默认它会理解任务复杂度、自动挑出最划算的模型。
供应商抽象可以进一步使用逻辑名称:应用请求 general-reasoning,网关再解析到具体部署。很多网关还提供 OpenAI-compatible 接口,包括 POST /v1/chat/completions 和 POST /v1/embeddings,便于已有客户端迁移。
接口兼容只能降低接入成本,不能保证模型可以互换。
原文建议用 ModelCapabilities 和 ModelDefinition 建立能力目录,记录 streaming、toolCalling、structuredOutput、vision、audio、embeddings 与 maxContextTokens。需要工具调用和结构化输出的请求,应先过滤掉能力不符的模型。推理参数、取消行为以及实际输出质量,也不能靠统一接口抹平差异。
故障切换成功,不代表业务还能正确运行
原文区分了两种 fallback:provider fallback 保留模型、更换供应商;model fallback 则更换模型。前者解决访问路径的问题,后者可能连回答行为一起改变。
Retry 又是另一件事,它会再次尝试同一个逻辑操作。原文的示意策略包含 providerFallbacks、modelFallbacks 和 maxAttempts: 3,但明确说明,这不是通用配置格式。实际设计还要考虑熔断、最大尝试次数和 Retry-After,并确定唯一的重试负责人。
如果应用和网关各自重试,一次用户请求可能产生远超预期的上游调用,故障期间反而继续增加压力。
流式响应更容易暴露这个边界。首段内容发出前,网关可能还能切换;部分内容已经到达浏览器后,再换模型生成,就可能出现重复、矛盾或残缺文本。应用需要明确选择终止并提示恢复、显式重新发起,或在支持时采用续写策略。
切换后的 HTTP 请求成功,也不等于业务成功。备用模型可能上下文更短、工具调用语义不同,或者无法稳定遵循输出结构。尤其在 Agent 循环中,一次不兼容的切换可能影响后续整条执行链。
密钥集中后,预算为什么仍可能超支?
网关让应用持有 Gateway Credential,由网关保管 Provider Credential。部分实现还提供 virtual keys,把访问权限和用量关联到应用、用户、团队或项目。
这里有个直接影响全栈实现的要求:用户身份应从服务端认证上下文产生,不能直接信任浏览器传来的任意用户标识,否则费用归属和权限限制都可能失真。
原文称 Vercel AI Gateway 支持 API key、OIDC 和 BYOK。受支持的 Vercel 部署可以使用 OIDC;其他环境可通过环境变量配置密钥。BYOK 也有账单边界:凭据失败后的配置可能允许使用 Vercel 管理的凭据,团队需要确认费用最终记在哪里。
限流和预算同样要分开。RPM 是每分钟请求数,TPM 是每分钟 token 数;前者限制访问频率,后者限制 token 消耗,预算才负责约束支出。原文举例把每月 $1,000 分给开发 $300、研究 $400、自动化 $300。
但它同时指出,Vercel 的 team、project、API key、user 预算属于 soft caps。请求开始时检查,跨过阈值的请求仍可完成。十个并发请求也可能在用量更新前一起通过检查。
网关预算是一项费用控制措施,不能直接当作严格的金额保证。
严格控制需要原子预算预留、请求准入、单次请求最高估算成本,以及实际用量对账。LiteLLM 的预算和虚拟密钥还依赖数据库记录,只有配置文件的代理部署并不具备同样的预算执行能力。预算耗尽后是否切换便宜模型,也应由业务明确决定。
两种接入示例,分别把责任放在哪里?
原文给出的托管方案使用 AI SDK v7:执行 pnpm add ai,通过 AI_GATEWAY_API_KEY=your_gateway_api_key 配置认证。按原文说明,标准 Gateway provider 已包含在 ai 包中,无需另装 provider 包。
下面这段代码展示主模型失败后,如何配置跨模型候选列表:
import { gateway, generateText } from 'ai';
const result = await generateText({
model: gateway('openai/gpt-6-astra'),
prompt: 'Analyze the architectural risks of this system.',
providerOptions: {
gateway: {
models: [
'anthropic/claude-sonnet-5.5',
'google/gemini-4-hydrogen',
],
},
},
});
console.log(result.text);
要看的是 providerOptions.gateway.models:它配置的是备用模型。控制供应商偏好使用 order: ['vertex', 'anthropic'];限制只能走这些供应商则使用 only: ['vertex', 'anthropic']。偏好顺序不能替代允许名单。原文还提到可通过 SDK 查询模型和使用情况,但没有给出具体调用方法。
需要内网部署、内部模型端点、数据驻留或自定义认证时,原文选择 LiteLLM。下面的配置把业务名称与实际模型分开,并设置跨模型 fallback:
model_list:
- model_name: fast-chat
litellm_params:
model: openai/gpt-6.1-sol
api_key: os.environ/OPENAI_API_KEY
- model_name: reasoning-chat
litellm_params:
model: anthropic/claude-sonnet-5
api_key: os.environ/ANTHROPIC_API_KEY
router_settings:
num_retries: 2
fallbacks:
- fast-chat: ["reasoning-chat"]
要留意 num_retries: 2 与 fallbacks 分别控制重试和跨模型切换;逻辑名称成立,不代表两组模型的能力已经验证兼容。
原文建议用官方 Docker Compose quickstart 配合 PostgreSQL,设置管理认证用的 LITELLM_MASTER_KEY 和数据库供应商凭据加密用的 LITELLM_SALT_KEY。安装片段通过 curl -sSLO 下载配置,再使用 printf 与 openssl rand -hex 32 生成密钥,但输入在第二段密钥生成命令中途截断,不能据此拼出完整部署步骤。
上述版本、模型名称和产品行为均是原文描述,未在这里独立核验;原文也要求部署前检查实际模型可用性、能力及 LiteLLM 版本。
我的判断
这篇最有价值的地方,是把「统一入口」后面的责任边界讲清楚。尤其是流式响应无法随意切换、能力契约必须先于 fallback、soft caps 无法保证严格预算,都是实现时需要提前决定的事。
但它是一篇架构说明,没有提供实测吞吐、延迟、费用节省或可用性对照数据。复杂度分类能省多少钱、集中网关能减少多少故障,不能从文章中得出结论。
对只有一个应用、一个供应商的小团队,直接使用 SDK,加上集中配置和清晰的重试策略,可能已经够用。网关更适合多个应用开始共享凭据、配额和治理规则的阶段。托管方案减少维护工作,自建方案提供更多基础设施控制权;新增入口自身的可用性和维护成本,原文没有展开。
能拿来做什么
- 在 Node 服务端先统一模型配置和身份来源,把 Gateway 密钥放在服务端环境变量中,并明确由应用还是网关负责重试。
- 给 AI 编程助手的备用模型写清准入条件,至少核对工具调用、结构化输出和上下文容量,再用实际代码任务验证切换结果。
- 为前端流式聊天区分「尚未输出」和「已经输出」两种故障状态,后者提供明确的重新发起入口,避免直接拼接备用模型的新回答。
- 上预算前先确认 soft cap、BYOK 账单和并发检查的边界;使用 LiteLLM 虚拟密钥及预算功能时,把 PostgreSQL 纳入部署方案。