基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-17 01:01

把闲置智能体会话移出 GKE 计算节点

Google Developers Blog#Kubernetes#Agent#成本优化
Editor brief · 编辑速览

文章提出按智能体会话的活跃与闲置状态规划 GKE 资源,避免每个会话长期独占一个 Pod。通过 Agent Substrate、AX 等工具将闲置会话状态存入对象存储,文中称节点成本最多可降低 40%。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

把 coding agent 从开发者电脑搬到 GKE,账单里最容易被忽略的,可能是它等人输入的时间。这篇文章讨论的不是模型推理价格,而是承载 agent 工作环境的节点成本:会话开着,不代表机器必须一直占着。

作者提出,把空闲沙箱挂起,等新提示到来再恢复,可以减少节点开销。但文中的 40% 节省来自一组成本模型,并非通用结论。提示频率、CPU 保证和下班后的缩容方式,都会改变结果。

会话开了一整天,为什么不该占一整天机器

普通 Web 请求通常只持续毫秒级,处理完成就能服务下一个请求。coding agent 则要在多轮交互之间保留工作区、文件和运行状态,开发者吃饭或开会时,会话也可能一直开着。用请求量决定扩容的思路,不能直接套到这种工作负载上。

文章引用 Banruo Liu 等人对 GitHub Copilot agent 轨迹的研究:典型多轮会话约 80% 的时间在等用户;一轮交互,即一次提示及 agent 对它的完整响应,平均包含 396.3 秒的 agent 工作时间。

作者另外假设,开发者每天工作 8 小时,每小时发送 2 次提示。按此计算,agent 约 22% 的时间在工作,剩下 78% 在等待。这里要分清:80% 来自引用研究,22% 则是结合作者使用频率假设算出来的。

传统部署有两种选择。每个会话一个 Pod,状态容易保留,但若每个 Pod 全天占用 1 vCPU、1 GiB,等待也要付费。按文中模型,扣除 GKE 预留资源后,一个 c3-standard-4 节点能放 3 个这样的 Pod,100 个 agent 需要 34 个节点,每月约 USD 1,288。

另一种选择是在空闲时把 Pod 缩到零。持久卷里的文件还在,进程和内存却不会保留,下次提示要重新启动 agent。

作者想要第三种选择:会话继续存在,空闲时把计算资源还回去。

挂起的是沙箱,保留下来的状态要分清

文章将这套方案分为 Agent Substrate 和 AX。前者负责 agent 在哪里、如何运行,后者负责声明运行什么,以及使用哪些工作资料。

在 Agent Substrate 中,actor 是单个 agent 的隔离沙箱,包含进程、文件和身份;worker 来自 Kubernetes Pod 暖池,一个 worker 可以承载多个 actor。调用 SuspendActor,可以把空闲 actor 快照保存到对象存储,释放它占用的 worker 资源,下次请求再恢复到可用的暖 worker。

容量应该跟着占用 worker 的沙箱走,而不是跟着所有打开的会话走。

AX 提供更上层的声明:Task 指定 image、command 和 limits,Workspace 指定仓库与文件;每个 Task 最终作为 actor 运行。但 AX 当前的恢复语义需要单独看:ax suspend 会请求卷快照,保留 /workspace,恢复后文件回来,agent 进程重新启动。不能因为底层支持 actor 快照,就认定当前 AX 可以恢复原来的内存现场。

挂起动作也不会自动发生。原文明确提到,Agent Substrate 尚未自行挂起空闲 actor,相关问题为 #424,需要 agent harness 或前置服务在空闲超时后调用 suspend API。如果所有 worker 都被占住,新 actor 请求默认最多等待 5 秒,随后返回 HTTP 503。

平台还通过 gateways 控制流量,并按 actor 身份在出站时注入凭据,让 agent 不直接持有 API keys。这能减少密钥进入执行环境的机会,但文章没有给出完整安全验证,不能把它理解为提示注入已经得到解决。

按原文所述,gVisor、Agent Substrate 和 OpenRL 于 2026 年 11 月捐赠给 CNCF,Agent Substrate 1.0 已在 GKE 正式可用。AX 则仍在首个稳定版之前积极开发,预算、策略、网关和任务行为记录属于其路线图,不能全部当成现成功能。

40% 的节省,建立在哪些条件上

作者按 us-central1 的 Google Cloud 标价,为同样的 100 个 coding agent 建模。设置 2 分钟空闲超时后,会话占用 worker 的时间比例从纯工作的 22% 增加到 29%。

暖池按同时占用 worker 的会话数的第 99 百分位,再加 15% 余量配置;这里还有一个关键假设:各会话独立活动。最终需要 15 个 worker 节点,另加 1 个全天运行的节点承载 Agent Substrate 控制面和 PostgreSQL,并通过定时任务在下班后把 worker 池缩到零。

在这些条件下,节点账单节省 40%,约每 3,500 轮交互遇到一次池满。这个数字是模型结果,不是文中展示的生产压测成绩。

流量稍有变化,结果就会变。每小时提示从 2 次增加到 2.5 次,同一个 15 节点池会在 3% 的交互中满载。每小时 4 次时,agent 工作比例达到 44%,池子增至 27 个节点,节省只剩 4%;约每小时 4.5 次时,每会话一个 Pod 开始更便宜。

下班后是否缩容同样重要。GKE 安装指南中的自动扩缩容跟踪 worker Pods,不直接跟踪已经挂起的 actor。如果暖池整月运行 730 小时,文中模型的成本约为每会话一个 Pod 的两倍。

固定成本也会影响小团队。控制面不会因为会话少就同比降价,模型中约从 37 个 coding 会话开始才有节省;如果换成假设每小时只工作约 1 分钟的聊天助手,门槛约为 13 个会话。

还有 CPU 超卖。若 Pod 的 request 是 0.25 vCPU、limit 是 1 vCPU,Kubernetes 按 request 调度,每节点能放 12 个 Pod,100 个 agent 只需 9 个节点,比前述挂起方案更少。Agent Substrate 也能通过声明 worker 池容量超卖,但文章没有计算这一方案。

因此,双方必须按相同 CPU 保证比较。超卖减少了预留资源,也会让同时构建、运行测试的 agent 争抢 CPU。

我的判断

我认同作者把「会话存续」与「计算资源占用」分开。这比单纯讨论 Pod 数量更接近 coding agent 的使用方式,也提醒团队先看等待时间,再选运行时。

但 40% 只能作为测算起点。作者自己也承认,每小时提示数是最不确定的输入;独立活动的假设,在集中上班、集中发起构建的团队里也未必成立。平均利用率低,不代表峰值时可以放心少配节点。

对一般团队,更现实的对照组还应包含降低 CPU requests、设置工作时段,以及保留每会话一个 Pod 的简单方案。文章对挂起方案与同等 CPU 超卖方案没有完整对照,也没有给出恢复延迟、快照存储开销和运维投入的完整数据。它提供了有用的容量分析方法,尚不足以证明所有团队都该迁移。

尤其要先核对状态需求。只需要恢复代码文件,和必须接着原来的进程、内存继续执行,是两种不同要求,当前 AX 的行为已经说明了这个区别。

能拿来做什么

  • 如果正在把前端或全栈 coding agent 搬到共享 GKE,先从网关日志统计一周的每小时提示数,重点看最忙的一小时,再用文中的约 4.5 次阈值做初步比较。
  • 如果 agent 会执行构建和测试,先按相同 CPU 保证比较 Pod 与 actor 的成本,并检查并发时的任务耗时,避免把资源争抢算成单纯的成本优化。
  • 如果准备接入 AX,先验证 ax suspend 后 /workspace 的恢复与进程重启是否符合工作流要求,再决定哪些会话可以挂起。
  • 如果采用暖池,把空闲超时触发、HTTP 503 监控和下班后缩容一起纳入部署方案;只装好 Agent Substrate,并不会自动得到文中的节省。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 Google Developers Blog,原文版权归原作者所有。

阅读原文
上一篇
VS Code 预览版改进 Agent 会话管理
下一篇
用确定性计算与人工审批约束退款智能体

资讯速览

Google Developers Blog · 2026-11-17 01:01

AI 评分 8.0 / 10

相关标签

#Kubernetes#Agent#成本优化

继续阅读

  • VS Code 预览版改进 Agent 会话管理
  • 用确定性计算与人工审批约束退款智能体
  • Qwen4-Max 发布,主打低成本旗舰能力
  • Bedrock 知识库新增表格检索与计算