把闲置智能体会话移出 GKE 计算节点
文章提出按智能体会话的活跃与闲置状态规划 GKE 资源,避免每个会话长期独占一个 Pod。通过 Agent Substrate、AX 等工具将闲置会话状态存入对象存储,文中称节点成本最多可降低 40%。
AI 深度解读
把 coding agent 从开发者电脑搬到 GKE,账单里最容易被忽略的,可能是它等人输入的时间。这篇文章讨论的不是模型推理价格,而是承载 agent 工作环境的节点成本:会话开着,不代表机器必须一直占着。
作者提出,把空闲沙箱挂起,等新提示到来再恢复,可以减少节点开销。但文中的 40% 节省来自一组成本模型,并非通用结论。提示频率、CPU 保证和下班后的缩容方式,都会改变结果。
会话开了一整天,为什么不该占一整天机器
普通 Web 请求通常只持续毫秒级,处理完成就能服务下一个请求。coding agent 则要在多轮交互之间保留工作区、文件和运行状态,开发者吃饭或开会时,会话也可能一直开着。用请求量决定扩容的思路,不能直接套到这种工作负载上。
文章引用 Banruo Liu 等人对 GitHub Copilot agent 轨迹的研究:典型多轮会话约 80% 的时间在等用户;一轮交互,即一次提示及 agent 对它的完整响应,平均包含 396.3 秒的 agent 工作时间。
作者另外假设,开发者每天工作 8 小时,每小时发送 2 次提示。按此计算,agent 约 22% 的时间在工作,剩下 78% 在等待。这里要分清:80% 来自引用研究,22% 则是结合作者使用频率假设算出来的。
传统部署有两种选择。每个会话一个 Pod,状态容易保留,但若每个 Pod 全天占用 1 vCPU、1 GiB,等待也要付费。按文中模型,扣除 GKE 预留资源后,一个 c3-standard-4 节点能放 3 个这样的 Pod,100 个 agent 需要 34 个节点,每月约 USD 1,288。
另一种选择是在空闲时把 Pod 缩到零。持久卷里的文件还在,进程和内存却不会保留,下次提示要重新启动 agent。
作者想要第三种选择:会话继续存在,空闲时把计算资源还回去。
挂起的是沙箱,保留下来的状态要分清
文章将这套方案分为 Agent Substrate 和 AX。前者负责 agent 在哪里、如何运行,后者负责声明运行什么,以及使用哪些工作资料。
在 Agent Substrate 中,actor 是单个 agent 的隔离沙箱,包含进程、文件和身份;worker 来自 Kubernetes Pod 暖池,一个 worker 可以承载多个 actor。调用 SuspendActor,可以把空闲 actor 快照保存到对象存储,释放它占用的 worker 资源,下次请求再恢复到可用的暖 worker。
容量应该跟着占用 worker 的沙箱走,而不是跟着所有打开的会话走。
AX 提供更上层的声明:Task 指定 image、command 和 limits,Workspace 指定仓库与文件;每个 Task 最终作为 actor 运行。但 AX 当前的恢复语义需要单独看:ax suspend 会请求卷快照,保留 /workspace,恢复后文件回来,agent 进程重新启动。不能因为底层支持 actor 快照,就认定当前 AX 可以恢复原来的内存现场。
挂起动作也不会自动发生。原文明确提到,Agent Substrate 尚未自行挂起空闲 actor,相关问题为 #424,需要 agent harness 或前置服务在空闲超时后调用 suspend API。如果所有 worker 都被占住,新 actor 请求默认最多等待 5 秒,随后返回 HTTP 503。
平台还通过 gateways 控制流量,并按 actor 身份在出站时注入凭据,让 agent 不直接持有 API keys。这能减少密钥进入执行环境的机会,但文章没有给出完整安全验证,不能把它理解为提示注入已经得到解决。
按原文所述,gVisor、Agent Substrate 和 OpenRL 于 2026 年 11 月捐赠给 CNCF,Agent Substrate 1.0 已在 GKE 正式可用。AX 则仍在首个稳定版之前积极开发,预算、策略、网关和任务行为记录属于其路线图,不能全部当成现成功能。
40% 的节省,建立在哪些条件上
作者按 us-central1 的 Google Cloud 标价,为同样的 100 个 coding agent 建模。设置 2 分钟空闲超时后,会话占用 worker 的时间比例从纯工作的 22% 增加到 29%。
暖池按同时占用 worker 的会话数的第 99 百分位,再加 15% 余量配置;这里还有一个关键假设:各会话独立活动。最终需要 15 个 worker 节点,另加 1 个全天运行的节点承载 Agent Substrate 控制面和 PostgreSQL,并通过定时任务在下班后把 worker 池缩到零。
在这些条件下,节点账单节省 40%,约每 3,500 轮交互遇到一次池满。这个数字是模型结果,不是文中展示的生产压测成绩。
流量稍有变化,结果就会变。每小时提示从 2 次增加到 2.5 次,同一个 15 节点池会在 3% 的交互中满载。每小时 4 次时,agent 工作比例达到 44%,池子增至 27 个节点,节省只剩 4%;约每小时 4.5 次时,每会话一个 Pod 开始更便宜。
下班后是否缩容同样重要。GKE 安装指南中的自动扩缩容跟踪 worker Pods,不直接跟踪已经挂起的 actor。如果暖池整月运行 730 小时,文中模型的成本约为每会话一个 Pod 的两倍。
固定成本也会影响小团队。控制面不会因为会话少就同比降价,模型中约从 37 个 coding 会话开始才有节省;如果换成假设每小时只工作约 1 分钟的聊天助手,门槛约为 13 个会话。
还有 CPU 超卖。若 Pod 的 request 是 0.25 vCPU、limit 是 1 vCPU,Kubernetes 按 request 调度,每节点能放 12 个 Pod,100 个 agent 只需 9 个节点,比前述挂起方案更少。Agent Substrate 也能通过声明 worker 池容量超卖,但文章没有计算这一方案。
因此,双方必须按相同 CPU 保证比较。超卖减少了预留资源,也会让同时构建、运行测试的 agent 争抢 CPU。
我的判断
我认同作者把「会话存续」与「计算资源占用」分开。这比单纯讨论 Pod 数量更接近 coding agent 的使用方式,也提醒团队先看等待时间,再选运行时。
但 40% 只能作为测算起点。作者自己也承认,每小时提示数是最不确定的输入;独立活动的假设,在集中上班、集中发起构建的团队里也未必成立。平均利用率低,不代表峰值时可以放心少配节点。
对一般团队,更现实的对照组还应包含降低 CPU requests、设置工作时段,以及保留每会话一个 Pod 的简单方案。文章对挂起方案与同等 CPU 超卖方案没有完整对照,也没有给出恢复延迟、快照存储开销和运维投入的完整数据。它提供了有用的容量分析方法,尚不足以证明所有团队都该迁移。
尤其要先核对状态需求。只需要恢复代码文件,和必须接着原来的进程、内存继续执行,是两种不同要求,当前 AX 的行为已经说明了这个区别。
能拿来做什么
- 如果正在把前端或全栈 coding agent 搬到共享 GKE,先从网关日志统计一周的每小时提示数,重点看最忙的一小时,再用文中的约 4.5 次阈值做初步比较。
- 如果 agent 会执行构建和测试,先按相同 CPU 保证比较 Pod 与 actor 的成本,并检查并发时的任务耗时,避免把资源争抢算成单纯的成本优化。
- 如果准备接入 AX,先验证
ax suspend后/workspace的恢复与进程重启是否符合工作流要求,再决定哪些会话可以挂起。 - 如果采用暖池,把空闲超时触发、HTTP 503 监控和下班后缩容一起纳入部署方案;只装好 Agent Substrate,并不会自动得到文中的节省。