Agent 接口重试如何避免重复写入和流量尖峰
作者改为按错误类型决定是否重试:限流时遵循 Retry-After,可重试的服务端错误使用带完全抖动的指数退避,请求本身有误时直接报错。加入尝试上限、写操作幂等键和任务级重试日志后,作者观察到 p99 延迟下降,重复副作用消失。
AI 深度解读
一个 Agent 遇到网关返回 502,就立刻重试,最多重试三次。流量一上来,大量请求同时打回已经吃紧的上游,有些操作还被执行了两遍。作者花了一周追查,最后把重试改成按错误分类、错开请求时间,并给每项任务设上限。
改完后,作者报告 p99 延迟下降,重复副作用归零。对写 Node 服务或 AI 工具调用的程序员来说,这个案例最实用的地方,是把「出了错要不要再试」拆成三个决定:错误能否恢复、操作能否重放、任务还剩多少次尝试。
429、5xx 和其他 4xx 该怎么处理?
作者把 429 单独处理。它表示请求过多,上游如果返回 Retry-After,就按这个响应头给出的时间等待。遇到 5xx,作者用指数退避加全抖动(full jitter):每轮扩大可等待的时间窗口,再从窗口里随机选一个等待时长。这样,同一时刻失败的请求就有机会分散到不同时间重试。
其他 4xx 则直接停止,把错误交给调用方。比如请求体格式错了,原样再发三次,服务端还是会拒绝。这里的关键是先识别 429,再走通用的 4xx 分支,否则限流也会被当成无需重试的错误。
请求失败后,为什么还要考虑它已经执行?
调用方收到 502 时,往往只知道自己没拿到正常响应。如果上游已经写入数据,只是响应没能穿过网关,再发一次就可能产生第二次写入。作者给每个会修改状态的请求都加了幂等键(idempotency key)。同一次逻辑操作的多次尝试应复用同一个键,由服务端识别并去重。
作者还把尝试次数封顶为四次,并按任务记录重试预算,以便发现哪些任务把机会悄悄用光了。日志也暴露出另一个问题:作者发现,多数故障来自请求体、超时设置,或自己对上游限流规则的错误假设。这几类故障需要不同的处理,单看「最后一次调用失败」很难分辨。
我的判断
按错误分类比统一重试更容易排查问题,指数退避加抖动也比固定间隔更适合同批请求一起失败的场景。但「5xx 就退避重试」还得加上接口语义:查询接口通常可以重放,创建记录的接口则要确认上游支持幂等,并按预期识别同一个键。客户端发出这个键,只完成了去重链路的一半。
p99 下降和重复副作用归零,是作者在自己系统里报告的结果。原文没给出 p99 的前后数值、流量规模、观测时长,也没给成功率的对照数据。四次上限同样是作者的配置,适不适合自己的任务,要看一次调用可能耗多久,以及调用方还能等多久。
能拿来做什么
- 给 Node 的 API 调用封装写一张重试规则表,单独处理 429 和
Retry-After,再分别定义 5xx 与其他 4xx 的行为。 - 给 Agent 的工具调用标明哪些操作可重放。会写入数据的操作,先确认上游支持幂等,再让同一次操作的所有尝试复用同一个键。
- 把已用尝试次数和停止原因记到任务日志里。预算耗尽时明确结束任务,让调用方看得出是请求被拒绝、限流后耗尽预算,还是结果仍然未知。