Agent 集群扩缩容应围绕令牌预算设计
文章指出,Agent 工作流的并行调用与推理负载使 CPU、请求数难以反映真实容量需求。它主张从模型网关的令牌吞吐、排队行为、延迟和成本预算出发设计准入控制。
AI 深度解读
AI Agent 集群扩容,首先要决定哪些任务可以进入系统、能消耗多少 token,再决定给它们多少并发名额。原文的核心判断是:CPU 和请求量不足以反映 Agent 的真实负载,容量规划应该围绕模型网关的 token 吞吐、排队情况和延迟目标展开。
这套思路对运行多个 Agent 工作流的团队很有参考价值,尤其适合同一套服务既承接用户交互,又执行批量评测、文档回填的场景。不过,原文给出的是一套设计主张,没有提供 Agent 集群的实测对照,落地时仍需验证。
CPU 没满,为什么用户已经等不动了
传统服务通常根据 CPU、内存或每秒请求数扩容。Agent 的问题在于,请求数量与实际工作量之间,可能差得很远。
一个工作流可以分叉出 50 个并行工具调用,每次调用携带的上下文长度又不同。作者还举例说,一个使用小模型的推理任务,可能比 1000 次轻量检索消耗更多 token 和时间,但编排服务所在机器的 CPU 并不会同步上涨。这些数字用于说明负载差异,原文没有给出对应实验。
于是,基础设施监控看起来正常,模型网关却已经排起长队,工作流的 p95 延迟持续恶化。p95 指的是 95% 请求的耗时不超过该值,能帮助观察较慢请求的体验。
作者建议,把主要信号改成「按任务类别统计的网关排队 token 数」。同样排着十个任务,短文本处理和长上下文推理带来的压力不同,只数任务个数容易低估积压。
Agent 的容量瓶颈可能出现在模型供应商一侧,增加编排服务实例未必能消除等待。
原文借用了多层 Web 应用的排队预测研究,支持队列信号比利用率更早暴露饱和的判断。不过,把这个结论应用到具体 LLM 网关,还需要结合模型和工作流验证。
给任务分配名额,比无限排队更重要
当请求超过处理能力,无限队列只会把问题推迟到超时阶段:等待变长,客户端重试,重试继续增加负载,最终形成循环。
作者提出,在模型网关前增加准入控制(Admission Control)。它负责判断任务现在能否执行,并按类别限制并发:
- 关键交互任务保留有保障的执行名额。
- 批处理、历史回填和评测任务使用各自的名额。
- 过载时,优先延后或丢弃较低优先级的任务。
这里的「名额」就是允许同时运行多少个任务。分开管理的目的,是避免一次大规模回填占满执行能力,让用户正在等待的任务挤不进去。
名额还要服从 token 预算。作者建议,以每分钟 token 数对齐供应商限额,再换算各类任务允许的并发。每个工作流声明 token 预算,由网关通过令牌桶(token bucket)执行约束,总需求需要低于供应商上限,并为重试预留余量。
供应商下调限额时,准入门槛也应随之收紧。否则,差额会不断积累在队列里,最终表现为延迟上涨。
但原文没有给出预算如何估算、令牌桶如何扣减,以及 token 吞吐如何换算并发的公式。它确定了管理单位,还没有提供完整实现。
已知任务提前安排,意外突发分层处理
Agent 的部分负载其实写在日历上:夜间评测、cron 采集、定期报告,通常都有明确执行时间。
作者认为,与其等流量上涨再反应,不如提前统计已知工作。例如,回填 10000 份文档,可以提前数小时预留 token 容量,让批量任务平缓执行,减少对交互流量的挤占。
这里的预测不一定需要复杂模型。先算已知任务队列,再为随机到达的任务留出空间,就能覆盖一部分需求。但「已知文档数量」并不等于「已知精确 token 总量」,原文没有交代如何处理文档长度、输出长度和工具调用次数的波动。
对预测之外的突发,作者安排了明确顺序:
- 暂停批处理类别的执行名额。
- 将能容忍延迟的任务转到更便宜或更慢、且使用不同限额池的模型层级。
- 显式丢弃排队任务,并给出重新入队的期限。
- 前面措施耗尽后,再拒绝新的交互请求,同时返回清晰的背压信号。
背压就是告诉上游「当前处理不过来,请减速或稍后再试」,避免客户端只能靠超时猜测状态。这里还有一个关键前提:备用模型确实使用不同限额池。价格更便宜,并不自动代表它能提供额外容量。
扩缩容也需要配套观测。原文要求把各类队列的 token 深度、名额利用率、丢弃数量、工作流 p95 延迟,以及 token 预算账本放在一起,才能区分预测失误、准入配置错误和供应商限额下降。
我的判断
我认可它把容量规划的关注点移到模型网关。对于依赖外部模型的服务,按任务价值分配有限吞吐,比单纯增加实例更贴近实际瓶颈。交互任务和批处理分开管理,也能减少彼此争抢资源。
但「token 队列是最佳信号」仍有适用前提。原文没有说明,尚未生成的输出 token 如何估计,也没有讨论不同任务的 token 消耗与执行时间如何对应。落地时,可以把 token 积压作为重要指标,同时保留实际延迟和执行状态,验证它是否足以指导调度。
模型回退同样不能只看成本和限额。备用模型能否完成原任务,需要单独检查;原文没有提供质量对照。
文中引用了工作负载预测、排队控制和流处理负载丢弃研究,但没有给出这套 Agent 方案的吞吐提升、成本节省或 p95 改善数据。因此,它更适合作为架构设计参考,效果判断仍属于经验之谈。
能拿来做什么
- 如果 Node 服务同时承接 AI 对话和定时评测,可以先按任务类别拆分并发名额,为用户交互保留容量,避免评测任务占满执行通道。
- 给已有工作流记录预计与实际 token 消耗,并观察各类别的排队 token 数和 p95 延迟,先验证当前瓶颈是否位于模型网关。
- 对文档回填、定期报告等计划任务,提前估算预算并分批执行,减少任务集中启动带来的突发需求。
- 为过载设计明确的响应,让前端能够区分等待、稍后重试和拒绝执行;采用备用模型前,再确认其限额池与任务完成质量。