Perplexity 推出多模型路由与故障切换接口
Perplexity 发布 Orchestrator API,以单一端点接入多家商业模型和开放权重模型,提供统一计费及同模型供应商故障切换。另有预览版自动路由,根据请求选择路由。
AI 深度解读
接入多个模型之后,麻烦往往出在模型之外:供应商限流、部署超时、账单分散,以及每次请求该交给谁。Perplexity 新推出的 Orchestrator API,想把这些工作收进一个托管推理网关。
它提供两种不同能力:模型不变时自动切换供应商,以及根据请求内容选择模型。前者已有生产流量观察,后者仍在预览。对前端和全栈团队来说,值得关注的是它能省下多少接入与容灾工作,以及这些便利附带什么限制。
一个入口能省掉哪些接入工作
Orchestrator 把 OpenAI、Anthropic、Google、xAI,以及 GLM、Kimi、DeepSeek 等开放权重模型放到统一入口后面,集中使用一个账户结算。
它接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 请求。按原文说法,多数团队只需修改 API key 和 base URL:
- OpenAI 格式使用
https://api.perplexity.ai/orchestrator/v1。 - Anthropic SDK 使用
https://api.perplexity.ai/orchestrator,末尾没有/v1。
这里的「多数」不能理解成完整兼容承诺。原文没有逐项说明工具调用、流式响应和各家特有参数的兼容程度,迁移仍需用自己的请求验证。
Perplexity 表示,内部也在使用同一层服务,覆盖 85+ 个模型和十多家供应商。这个数字描述内部使用规模,原文没有披露对外模型目录的准确数量。
费用按实际回答模型公布的 token 单价计算,切换供应商不改变费率,预付 credits 之外没有额外平台费。例如 perplexity/glm-5.3 每 1M tokens 的输入、输出、缓存读取价格分别为 $1.4、$4.4、$0.26,credits 也能通过 AWS Marketplace 购买。
模型权限还取决于累计购买额度:Tier 0 开放 Google、xAI 和开放权重模型;Tier 1($50)开放 OpenAI 和多数 Anthropic 模型;Tier 2($250)才包括 Claude Opus 5、Opus 5.5 和 Fable 系列。它不支持自带密钥(BYOK)。
故障切换保留模型,自动路由才会换模型
供应商故障切换和模型路由,解决的是两类问题。
故障切换保持模型不变,只更换承载请求的部署。例如 Claude 在 Anthropic 侧失败,可以转到 AWS Bedrock。触发条件包括供应商错误、限流和超时,开发者不能指定部署。
每次尝试都有首 token 等待上限和总时长上限,但具体值未公开。无效请求或超出上下文限制会返回 HTTP 400,不重试;所有部署都失败则返回 HTTP 429,并附带 Retry-After。在产生输出前失败的请求不计费。
自动路由则需要把 model 设为 perplexity/auto,再传入 routing 对象,其中包含 default_model 和 1 到 5 条路由,每条都有 name、description、model。
决策模型读取对话和路由描述,却看不到路由名称与模型 ID。因此,描述需要解释什么任务适合走这条路,不能指望给路由起个「代码专家」的名字就够了。
没有匹配、决策失败或超时,都会交给默认模型;媒体输入也走默认模型。响应头通过 x-perplexity-autoroute-outcome、x-perplexity-autoroute-route 和 x-perplexity-autoroute-confidence 报告结果。
默认策略使用 GPT-6.1 Sol,简单请求交给 GPT-6 Luna。另有 Lower cost、Balanced、Higher quality 预设,以及 Auto effort 预览。路由功能本身也仍在预览阶段。
可靠性和任务通过率,证据到哪一步了
Perplexity 观察了 2026 年 10 月 4 日至 11 月 2 日的生产流量。经其网关发送的 Claude、GPT 请求,成功率高于被测的任一单独供应商,供应商发生事故时,每日成功率的波动也更小。
但原文没有给出成功率百分比,无法据此判断改善幅度。
速度数据更具体:Claude Opus 5.5 在 30 天里,Anthropic 和 AWS Bedrock 各有 15 天最快;GPT-5.6 Sol 在 Azure 上的输出速度中位数比 OpenAI 高 27%。这些数据说明供应商表现会变化,但速度感知路由仍在开发,不能把观察结果直接当成当前路由收益。
另一个实验测试了拒答后的模型路由。他们在 Claude Code 中运行 Terminal-Bench 4.1 的 63 个任务子集:
- Claude Fable 5.2 单独完成 38/63。
- Fable 加上通往 GPT-6.1 Sol 的路由,完成 41/63。
- Fable 加上通往 GPT-6 Astra 的路由,同样完成 41/63。
路由覆盖 security、biology 和 after_refusal 请求。原文还援引 Anthropic 的说明:Fable 5.2 的防护可能拦住正常的安全及生命科学工作。
最终多完成 3 个任务,估算的单任务成本也更高。Perplexity 将其称为调整后的比较,并说明结果随工作负载变化。这个实验支持「备用模型可能接住部分任务」,不足以推导出普遍的编程能力提升。
我的判断
我认可把供应商容灾收进网关的方向。团队自行维护多套 SDK、重试规则和账单处理,确实需要投入;统一入口也让替换模型更容易。
但 Orchestrator 的独特性不能只靠「多模型加自动切换」来证明。按原文对照,OpenRouter 有 400+ 模型、70+ 供应商,Vercel AI Gateway 有 400+ 模型,三者都支持上述三种 API 格式和同模型故障切换。
费用与控制权更值得比较。OpenRouter 的 credits 购买费为 Standard 5.5%、Business 8%,token 按供应商价格传递;BYOK 超出额度后收取 5%。Vercel AI Gateway 按供应商标价收费,无平台费、无 token 加价,BYOK 也无加价。Orchestrator 的「无额外平台费」有吸引力,但并非唯一提供这一条件的选择。
OpenRouter 另有不收路由费的 openrouter/auto;原文没有披露 Vercel 对应的提示词自动路由能力。
我的取舍是:把它视为值得验证的基础设施选项。自动路由是否比固定模型更划算,原文没有足够对照数据;生产成功率也是厂商自报,尚不能据此确定一般团队能获得多少收益。
能拿来做什么
- 在 Node 服务端接入时,先用现有请求验证对应 API 格式,重点检查流式输出、工具调用和错误处理,再扩大迁移范围。
- 把 HTTP 400 与 HTTP 429 分开处理:前者修正请求,后者依据
Retry-After安排重试;同时设置应用自己的超时边界。 - 试用
perplexity/auto时,用实际任务写清路由描述,并记录路由响应头、任务结果和费用,检验是否优于固定模型。 - 给 AI 编程流程增加备用模型时,先统计拒答与任务失败的原因,再衡量多完成的任务是否值得增加成本。