长任务 Agent 如何扛住超时、重启与故障
文章讨论长时间运行的 Agent 所需的执行环境、外部持久化检查点和跨区域容灾,并给出幂等操作键、租约及 fencing token 等实现建议。内容由基础设施厂商 Control Plane 发布,选型建议需结合其商业背景判断。
AI 深度解读
长时间运行的 AI Agent,上线后最容易出问题的地方,往往是任务跑到一半,函数超时了、部署把进程停了,或者云服务出了故障。原文的核心判断是:生产环境需要同时解决运行时限、进度持久化和故障接管,单靠一个持续运行的容器还不够。
这是一篇由 Control Plane 发布的厂商指南,后半部分有明显的产品介绍。不过,它把检查点、幂等、租约和跨地域恢复之间的关系讲得比较完整。对正在把 AI 编程助手或后台 Agent 从演示搬到生产的团队,这部分比平台选型更值得先看。
进程能一直跑,不代表任务能一直活
原文列出的限制很直接:常见 Serverless 函数的单次调用或请求时限在 5 到 60 分钟之间。AWS Lambda 单次调用上限是 15 分钟,Azure Functions 的 Consumption plan 最长是 10 分钟。任务超过这个窗口,就需要额外的持久执行机制。
但不能据此得出「Serverless 做不了长任务」。原文也给了反例:AWS Lambda durable functions 通过检查点与故障后重放,把运行跨度扩展到最长 1 年;AWS Step Functions Standard workflows 同样支持最长 1 年。
这里要分清两个时间:一次进程执行能持续多久,一个工作流能跨越多久。持久执行(durable execution)允许工作流在进程退出、等待、重启之后继续推进,不要求同一个进程始终活着。
容器也有另一层限制:进程没有短时执行上限,入口 HTTP 请求仍可能超时。Control Plane 的请求最多持续 600 秒,使用 cpln/timeoutSecondsOverride workload tag 可延长到 3,600 秒。再长的任务,原文建议放到后台,由客户端轮询状态或接收回调。
对前端和 Node 服务,这直接影响接口设计:页面等待的请求结束了,后台任务未必失败;后台进程还活着,也不代表页面连接能无限等待。
恢复任务,靠的是精确进度和副作用控制
Agent memory 和执行状态不是一回事。前者保存对话、偏好和推理上下文,可以压缩或总结;后者必须准确记录哪些步骤完成了、返回了什么、下一步做什么。
原文要求在每个有意义的步骤后,把进度、工具输出和上下文通过一次事务写入进程外的持久存储。恢复时跳过已完成步骤,重新执行中断步骤。
检查点保存了进度,却不能单独防止重复执行。
例如,Agent 已调用邮件 API,但还没写入「发送成功」就崩溃。恢复后只看数据库,会以为邮件没发。原文因此要求每个有副作用的操作使用稳定的幂等键,让下游 API 识别重复请求;或者先记录操作键,重试前向服务商查询是否执行过。
第二个问题是任务归谁执行。多个副本同时恢复同一任务,可能各自继续调用工具。原文给出的方案是租约(lease):一个 run 同时只有一个持有者,持有者工作期间续租,进程死亡后租约到期,其他副本再接管。
但旧副本可能只是暂时断网,随后又恢复。因此每次写检查点还要携带 fencing token,由存储拒绝旧 token 的写入。它相当于一张不断更新的执行资格凭证。
这几层各管一件事:检查点决定从哪里恢复,租约决定谁来推进,fencing token 阻止失去资格的副本提交进度,幂等键控制外部副作用。只做其中一层,恢复链路仍有缺口。
多副本能接流量,还得能接回未完成的任务
部署、缩容和节点排空都会触发退出流程。Agent 收到 SIGTERM 后,应停止领取新任务,完成当前步骤或保存检查点,并在宽限期内释放租约。
Kubernetes 默认终止宽限期是 30 秒,preStop 的执行时间也算在里面。宽限期需要覆盖最长单步耗时及 preStop 延迟。默认滚动更新最多允许 25% 的副本不可用;PodDisruptionBudget 约束节点排空等主动中断,但不限制 Deployment 自己的滚动更新。
Control Plane 的默认宽限期是 90 秒。它先把副本移出负载均衡,默认 preStop 再等待一半时间,即 45 秒,然后才发送 SIGTERM。Agent 实际收到信号后,只剩余下的时间保存进度。队列消费者还应在 preStop 开始时停止领任务,因为退出负载均衡只会阻止新的 HTTP 请求。
跨地域恢复更复杂。原文建议至少部署到两个位置;如果要求扛住整个云厂商故障,还需要跨云,并让存活副本能访问检查点存储。
流量切走了,不等于正在执行的任务已经恢复。
异步复制可能在数据库切换时丢失最新检查点,所以恢复后的步骤仍须允许重跑。租约与 fencing 写入要落在同一个强一致主库上;主库所在位置故障后,需要提升健康副本,并推进 fencing epoch,拒绝旧主库时代的写入。多主复制事后解决冲突,不能替代这里的执行权判断。
此外,原文建议模型和工具错误使用带随机抖动的指数退避,连续失败时触发熔断,并切换第二模型服务商或暂停任务。监控则应围绕 run ID 串起日志和追踪,关注长时间没有新检查点的任务,以及完成率、重试次数、token 和单次运行成本。
我的判断
我认同原文把「可恢复」放在「持续运行」前面。对于会修改文件、调用外部 API、推进多步工作的 Agent,真正难的是中断后继续,而且不会把已经完成的操作再做一遍。
但它没有给出不同架构的成本、吞吐或恢复时间对照。选型建议主要是工程经验:已有 Postgres 的团队可以考虑 DBOS、LangGraph Postgres checkpointer 或自建检查点表;复杂、多分支、跨多日的编排更适合评估 Temporal。原文还列了 Inngest、Restate、Dapr、Azure Durable Functions 和 Cloudflare Workflows,并提到 OpenAI Agents SDK 的相关集成。OpenAI Responses API background mode 支持后台长请求,通过轮询或 webhook 获取结果,但文章没有论证它能替代完整的业务恢复机制。
Control Plane 的定位也需要拆开看:standard workloads 提供持续运行进程;stateful workloads 提供稳定副本身份、独立持久卷及快照;Global Virtual Cloud(GVC)负责把工作负载部署到多个位置并路由到健康副本。它们提供基础设施能力,业务仍需实现检查点、执行权和幂等。
原文最具体的运行数据来自厂商内部遥测:2025 年 10 月 20 日 AWS us-east-1 故障期间,20% 的 Control Plane 客户在 GVC 中使用了该区域,相关工作负载在 10 秒内于健康位置运行,厂商称客户没有停机。这是厂商自述,没有独立对照,也没说明在途 Agent 任务是否全部恢复、是否丢失检查点,不能直接当作业务恢复时间承诺。
一般团队也不必立刻跨云。若需求只是部署后继续跑,先完成单区域的持久化与接管即可;若承诺整个云厂商故障时仍可用,就必须连数据库和外部依赖一起评估。原文没有展开这部分成本。
能拿来做什么
- 给长时间运行的 Node Agent 设计后台任务接口,返回 run ID,让前端查询状态或等待回调,并分别处理请求超时与任务失败。
- 为每个会产生外部副作用的工具操作定义稳定幂等键,重点检查「API 已成功、检查点尚未提交」时的重试行为。
- 做一次部署中断演练,确认 Agent 会停止领任务、保存进度并释放租约,同时验证失去租约的旧副本无法继续提交检查点。
- 根据现有设施选择状态层,先验证重启恢复和重复执行控制,再决定是否引入复杂编排或跨地域部署。