多模型路由如何在调用前确定执行顺序
文章展示如何在首次调用前,根据模型、供应商能力和健康状态计算执行顺序。整个流程还涵盖请求校验、额度预留、状态持久化、异步结果对账和最终结算。
AI 深度解读
做一个支持多家模型的图片生成接口,很容易写成「A 报错就调 B」。可 A 超时后可能还在跑,稍后会把图片写进存储。如果 B 已经开始生成,同一笔请求就可能出现两份结果,退款和完成通知也可能先后发出去。
作者把路由放进一个有持久化状态的执行流程。开跑前决定谁先跑,出错后核对上一轮到底发生了什么,再决定要不要换供应商。对接过轮询和 Webhook 的前端、全栈开发者,可以用这套思路检查任务状态、结果归属和扣费能不能对得上。
第一个供应商在开跑前就可能变
一次生成请求进来,会先过鉴权、限流和模型参数校验。候选顺序来自用户配置或模型默认值,再按能力过滤,最后根据供应商的健康状态重排。执行前还要预留额度,并把任务状态写入数据库。这样,外部调用一旦开始,后续的轮询和回调就有一笔已经存在的任务可查。
这段代码展示了如何把配置中的供应商顺序变成这次请求的执行顺序。
const baseSequence = providerOrder
.split(',')
.filter(p => p in providerLookup)
.map(p => providerLookup[p]);
const { reordered: sequence } =
await reorderByHealth(baseSequence);
留意 reorderByHealth(baseSequence) 这一行。sequence 才是实际执行顺序,因此配置里的第一家未必第一个跑。前面的 filter 只检查供应商是否在 providerLookup 里,原文提到的能力过滤没有在这段代码里展开。
接口超时后,为什么还要去存储里找图
超时只说明调用方没有及时拿到响应。供应商的任务可能仍在运行,取消确认、Webhook 和结果文件也可能在不同时间到达。作者在切换前留出一个宽限期,给上一轮结果一点落地时间。
下面这段代码会等待宽限期,再检查输出路径里有没有文件。
await sleep(GRACE_PERIOD);
const { data: files } = await storage.list(path);
if (files.length > 0) {
// previous provider actually succeeded
}
留意 files.length > 0 这一行。片段用文件存在作为上一轮可能成功的信号。按作者描述的完整流程,系统还会核对数据库里的任务状态,只有两边都支持失败判断,才继续下一轮。
准备切换时,系统会尝试用 cancelProviderPrediction(provider, predictionId, model) 取消当前任务,在数据库里设定 generation_failover_in_progress: true,并等待 Webhook 处理。回调看到切换标记后,就能避免提前把整笔任务判为失败、退回额度或发出错误事件。供应商的单次尝试和用户的整笔生成请求,在这里有各自的结束条件。
供应商接法各异,用户侧只认一套任务状态
图片生成的完成方式差异很大。Black Forest Labs 提交异步作业后要轮询,再通过签名 URL 取结果。Fal 和 Replicate 都有轮询和 Webhook,但 Fal 先提交队列。Runway 要轮询异步任务并下载文件。BytePlus 和 OpenAI 可以同步返回,应用仍要自行收尾,OpenAI 的例子还包括图片编辑。Cloudflare 则在边缘同步执行并直接返回。
作者把这些差异收进同一套执行状态机,用 generation_provider_order、generation_prediction_id 和 generation_output_file 记录供应商顺序、预测任务 ID 和输出文件。额度也走这条流程,执行前调用 reserveCredits,成功后调用 chargeCredits,失败后调用 refundCredits。每轮尝试分别记录 used、failed 或 cancelled。一次路由决定会影响跑几家、上一家能否及时取消,以及这笔任务最终要承担多少成本。
我的判断
最有价值的提醒是,供应商接口超时和用户任务失败之间还隔着一次状态核对。对于会补交结果的异步任务,简单的 try/catch 加重试无法处理迟到的图片。对于单一同步供应商、没有异步回调的接口,有限重试更容易维护。如果团队已经有任务队列,也可以先在现有任务记录里处理结果归属和重复回调,再看是否需要加入健康重排。
原文没有给出宽限期 GRACE_PERIOD 的取值、健康分的计算方法,也没有提供切换前后的延迟、重复执行率或成本对照。这套做法是工程经验,收益还得看自己的任务数据。尤其是「目录里有文件」这条判断,原文没交代 path 是否按尝试隔离、怎样确认文件完整,以及文件与数据库状态冲突时听谁的。只要上一次重试会复用同一个路径,这些问题就会直接影响结果归属。
能拿来做什么
- 给 Node 生成接口的每次供应商尝试分配单独的 ID 和输出路径,用它们关联轮询、Webhook 和文件,避免迟到的回调认错任务。
- 把「等待供应商结果」「正在切换」和「最终失败」映射成清楚的前端状态,让用户在切换期间继续看同一笔任务,等后端确认后再展示最终结果。
- 在加第二家供应商之前,先测一遍「A 超时、B 启动、A 又回调」的时序,核对最终采用哪份图片、完成事件发了几次、额度结算了几次。