多智能体路由为何吃掉更多 Token
文章用五步工作流说明,历史内容被后续智能体反复读取时,路由和交接开销会随步骤数呈二次增长,案例中的开销从 750 升到 18,000 Token。文中给出四种将开销降回线性的做法,并讨论停止条件和运行状态的作用域。
AI 深度解读
一条五步的多 Agent 流程,业务逻辑没变,编排开销却从 750 tokens 涨到 18,000 tokens。作者用一份 20 页的季度报告算了笔账:路由模型要看一遍历史才能选出下一位,接手的 Agent 又要看一遍才能干活。流程越长,最早产出的内容就被读得越多。
对写 AI 编程工具的开发者,这笔账能帮你决定哪些步骤交给代码、哪些判断留给模型。文章还记录了一次单请求回放始终通过、线上并发却误报循环的故障。两件事都指向同一个设计问题:每一步究竟需要看见哪些信息?
同一段历史为什么要付两次钱?
作者把季度报告拆成规划、检索、财务分析、风险识别和起草五步。每位 Agent 产出约 800 tokens,摘要约 150 tokens,任务目标和候选名单合计约 400 tokens。按文中的计费口径,第 k 轮路由的输入是 G + W + (k-1) × O。G 是任务目标,W 是候选名单,O 是单步产出。每轮只是多带一份旧输出,累加起来却是 N × (N-1) / 2 份。全历史交接给下一位 Agent 时,同一批输出又按这个次数重读。
按这组参数,5 轮路由要 10,000 tokens,其中 2,000 是目标和名单,8,000 是历史。到 10 轮,路由输入涨到 40,000,其中固定项为 4,000,历史为 36,000。轮数翻倍,路由总输入变成 4 倍,历史项变成 4.5 倍。5 步时路由加全历史交接正好是 18,000 tokens。把路由写进代码,再按每跳 150 tokens 交接,账面开销就是 5 × 150 = 750。
langchainrust 的 lc-agents 用同一个 Orchestrator 接口提供四种编排。顺序执行和并行分发都没有额外路由调用;评审循环的额外调用会给出通过与否及修改意见;Supervisor 每轮调用一次模型来选择下一步。流程能事先画出来,就直接写进代码。分支能从字段、关键字或返回码推导,就写规则。开放式研究或跨系统排障如果确实需要读懂中间结果才能选工具,再让模型从枚举候选里选。此时要保留 FINISH 作为终止值,禁止注册同名 Agent,解析失败直接终止,并限制轮数、逐轮记账。
摘要交接之后,账单上还剩什么?
作者建议上游按固定结构传递原始请求、当前结果和已尝试的事项,并用名称、摘要、产物列表描述结果。下游拿到自己需要继续处理的信息,也更容易定位判断在哪一步出了偏差。子 Agent 则适合隔离探索过程,父 Agent 只接收结果,工具调用和重试留在子任务内。文中的默认嵌套深度是两层。
按 N=10、O=800、S=150 推算,交接从 36,000 降到 1,500 tokens,相差 24 倍。但若每位 Agent 仍读一遍约 15,000 tokens 的报告,光原材料就占 150,000 tokens。加上路由和交接,总量从 226,000 降到 151,500,约省 33%。五步示例里,报告也会被读掉 75,000 tokens。要压这部分,可以让规划步骤先列出各角色要读的章节,再由检索层返回摘录。
文章按每月 100,000 次任务估算,每次多出的 17,250 tokens 会累积到 17.25 亿。按每百万输入 tokens 约 0.15 至 5 美元计,每月约多花 260 至 8,600 美元;若输入单价按十分之一计,则是 26 至 860 美元。这些是按量级和单价推算的账。串行调用还要单独算时间。按作者给出的每次 1 至 3 秒估计,5 次额外路由会多等 5 至 15 秒。缓存折扣也改变不了一次请求到底走了几轮,最深的路径仍可能拉高 P99。
为什么两条各自正常的链会互相误判?
lc-agents 默认限制 10 次交接,并把主 Agent 记为链上的第一个节点。深度上限能让链停下来,可 A → B → C → A 在碰到上限前就已绕回起点,因此还要检查当前链里是否出现过目标。单步超时管的是一跳走多久,链深管的是能走多少跳。Agent 在一跳内反复调工具,则要靠工具调用上限或整次运行的预算约束。
作者遇到的线上故障是正常的 triage → orders 被报成循环,同样的请求单独跑约百次都通过。原来的访问记录放在共享 manager 上,写入有锁,两条请求却在用同一份记录。团队给交接入口和出口都加上运行 ID,按时间戳对齐日志,并在交接处注入几十毫秒延迟,才稳定复现。压测里的假 Agent 一跳只花几十微秒,线上模型调用则以秒计,两条链更容易在交接途中重叠。
下面的代码把交接链放进单次任务的作用域,并从主 Agent 开始记录。
HANDOFF_CHAIN.scope(RefCell::new(vec![primary]), async move {
executor.invoke(input).await
})
第一行在每次运行时创建链,第二行把整个执行过程包在该作用域内。同步、并行批处理和流式路径都要在护栏触发后直接结束任务。如果把拒绝当成普通工具错误交回模型,它还可能改个说法继续重试。文中的实现允许作用域外的调用跳过检查,因此 skipped_no_scope 一旦非零,就有请求绕过了这层保护。
我的判断
这篇最扎实的是把成本拆到了可检查的粒度。一段 800 tokens 的输出被读几遍,可以沿着调用链算出来。共享状态导致并发误判,则有作者报告的故障、复现方法和修复代码。至于摘要是否提高答案质量、固定路由能提高多少缓存命中率,文中没有给出项目内的对照数据。它引用的 KVCOMM(arXiv:2510.12872)报告超过 70% 的复用率和最高 7.8 倍加速,数字对应论文里的方案,自己的系统还得测。文中还提到五项带阈值的指标,给出的文本只具体展开了 skipped_no_scope 和 summary.tokens,阈值没有列出。
「编排开销可以归零」也说得太满。固定路由可以把路由调用降到零,摘要交接仍有开销,作者自己的十轮账本就保留了 1,500 tokens。碰到共享约束很多的编程任务,我会先考虑单 Agent 按需读文件,或在串行流程里给下一步保留必要原文和产物引用。文章转引的 Anthropic 数据是,Agent 式交互约消耗普通聊天 4 倍的 tokens,多 Agent 约 15 倍。Cognition 的例子则是各子任务只看到部分上下文,最后产物拼不起来。拆分是否划算,先看工具、权限、模型或上下文是否真需要隔离,再看子任务能否独立验收。
能拿来做什么
- 给 Node 编排器的每次调用标记用途,分别统计原材料、路由和交接的输入 tokens。能用结构化返回字段决定下一步的分支,直接写进代码。保留
Supervisor的分支再单独看轮数和 P99。 - 把 AI 编程流水线的交接收敛到原始请求、结果、产物引用和已尝试事项。用同一组任务对跑全历史和摘要版本,同时检查答案质量、遗漏的约束以及
summary.tokens是否持续变长。 - 把已访问节点、使用步数和临时预算放在单次运行的作用域里。并发测试时给交接注入延迟,验证两条正常链互不干扰,再分别验证同步、并行批处理和流式路径遇到循环都会终止。