双层模型路由在哪些环节失去成本优势
文章用小型游戏构建案例说明模型路由的降本潜力,并分析多步工具调用中途升级的代价。重放逾 4 万词元的工具历史、工具接口变更导致路由误判、跨供应商冷启动,都可能削弱成本和延迟优势。
AI 深度解读
给 AI Agent 配两档模型,轻量模型先接任务,复杂任务交给高端模型。原文用一次小型游戏构建说明这种方案能省多少钱,也指出生产里更容易出问题的地方:轻量模型跑到一半才发现任务做不下去,接手的模型得重新读一遍工具调用历史。
如果你的 Agent 会连续调用多个工具,读完最该带走的是一个工程问题:哪些任务一开始就该交给高端模型,哪些任务值得先用便宜模型试一轮?
路由低于 100ms,整条任务能省多少?
Nace AI 报告称,Drex Router 的路由耗时低于 100ms。在一次小型游戏构建中,使用路由器花了 $1.26,全程使用 Opus 花了 $13.44,前者约为后者的 1/11。原文还列出两档价格,GPT-6.2 Sol 为 $2/$10,Claude Opus 5.5 为 $4/$20,未交代计价单位。
这组数据能说明,在该案例里,把一部分工作交给便宜的模型有明显的成本空间。要估算自己项目能省多少,还得知道有多少请求最终要升级,以及升级时需要带走多少上下文。比如 Flash 模型卡住以后,若高端模型接手时要重读 40k+ tokens 的工具历史,同一段历史就可能在两档模型上重复计入输入成本,吃掉一大块差价。
为什么升级时机比路由速度更难定?
路由器在入口处得判断,眼前这个请求会走多长的工具链。简单请求可能一次调用就结束,多步任务则可能得先拿到一个工具的结果,才能决定下一步调用哪个工具。若上游 API 或 MCP 工具 schema 每周都在变,原来写死的路由规则可能悄悄失准,直到某类任务频繁卡住才被发现。
入口按任务类型分流,能让已知的复杂任务直接用高端模型,省下中途交接。工具调用失败后再动态升级,可以让更多请求先走低价档,但要把交接成本算进去。原文以一次 90ms 的路由决策举例:如果这次决策触发了跨供应商回退,还碰上冷启动,用户感受到的是整条任务被拖长,路由器的单次计时只覆盖了其中一段。
我的判断
这个案例足以说明双层路由有省钱的可能。至于哪个升级边界更划算,原文没有给出入口分流与失败后升级的对照数据,也没交代小型游戏构建的产出质量是否一致。40k+ tokens 的回放和跨供应商冷启动是作者描述的风险场景,文中没有给出出现频率或延迟分布。把这些当作经验之谈,用来决定该测什么,更合适。
对工具链短、任务类型清楚的团队,我会先考虑在入口分流,因为复杂任务可以提前识别,出问题也更容易追查。若复杂度通常要等第一次工具返回后才看得出来,动态升级才有更多用武之地。全程使用高端模型也适合留作对照,特别是请求量不大、而一次长上下文交接就可能吃掉大部分差价的时候。
能拿来做什么
- 给 Node Agent 的每次任务记录路由耗时、工具失败位置、升级时重传的 tokens 和端到端耗时,按任务类型看成本与完成率。
- 用同一批真实的多步工具任务,对比全程使用高端模型、入口分流和失败后升级,按成功完成的任务计算成本,同时检查尾延迟。
- 上游 API 或 MCP 工具 schema 变更后,重跑依赖这些工具的代表性任务,看看原本能在低价档完成的请求是否开始频繁升级。