双层重试让一次 API 调用膨胀到18次请求
作者用本地错误服务复现:SDK 默认重试两次,叠加 tenacity 的六次尝试,使单次调用产生18次请求。文章建议只保留一层重试策略,或关闭 SDK 重试,由外层筛选适合等待后重试的错误。
AI 深度解读
给 OpenAI 调用加上「最多尝试 6 次」,最后却发出 18 个请求。作者用本地测试服务复现了这个问题:外层 tenacity 在重试,底层 Python SDK 也在重试,两套循环把请求数乘了起来。
更麻烦的是,额度耗尽和 API key 错误也被反复发送,最终异常还被包装,绕过了业务已有的错误处理。这篇值得读的地方,是把重试次数、错误分类和异常出口放到一起检查,而不只是调整退避时间。
为什么尝试 6 次会发出 18 个请求
作者检查的是 OpenAI 限流 cookbook 中的一种写法:用 openai.OpenAI(api_key=...) 创建客户端,再给调用套上 tenacity,配置 wait_random_exponential(min=1, max=60) 和 stop_after_attempt(6)。
单看装饰器,它最多执行 6 次。但 SDK 默认还有 max_retries=2,遇到符合条件的错误,会在首次请求之后再重试两次。对于持续返回的 429,每次外层尝试实际包含 3 个请求。
在作者测试的默认配置下,6 次外层尝试变成了 18 个 HTTP 请求。
实验使用 openai 3.51.0、tenacity 9.2.1 和 Python 3.14.4,在一台 Linux 机器上运行两轮,每轮 12 个客户端并行,各调用一次。请求通过 OPENAI_BASE_URL 指向本地 stub,没有流量发往 OpenAI。
以下日志分别对应限流、额度不足和错误密钥,能直接看出两层循环如何叠加:
A1: 18 requests (HTTP 429) over 19.9s, x-stainless-retry-count 0,1,2,0,1,2,0,1,2,0,1,2,0,1,2,0,1,2
Q1: 18 requests (HTTP 429) over 20.6s, x-stainless-retry-count 0,1,2,0,1,2,0,1,2,0,1,2,0,1,2,0,1,2
U1: 6 requests (HTTP 401) over 20.3s, x-stainless-retry-count 0,0,0,0,0,0
重点看第一行不断重复的 0,1,2:SDK 的重试计数每进入一次外层尝试就重新开始。
两轮中,cookbook 写法遇到 429 的 8 次调用,每次都发出 18 个请求,其中 12 个来自 SDK 重试。该版本 SDK 的退避从 0.5 秒开始翻倍,并减去最多 25% 的随机扰动。每组第三个请求距第一个只有 1.2~1.5 秒,外层 tenacity 此时还没开始等待。
原 cookbook 自己也提醒,失败请求会计入每分钟限额。只把外层等待时间拉长,管不到这组内部请求。
同样是 429,为什么有的应该立即失败
作者遇到的两种 429,处理方式应该不同:
rate_limit_exceeded表示触及速率限制,等待后可能恢复。insufficient_quota表示当前额度不足,等待不会补充额度。
测试服务没有返回 x-should-retry,SDK 因而按状态码决定是否重试;tenacity 默认的 retry_if_exception_type() 又会对任何异常重试。额度不足便和普通限流一样,被发送了 18 次。
401 则暴露了另一半问题:SDK 不重试认证失败,但外层 tenacity 仍会尝试 6 次。两轮中,4 次额度不足调用耗时 20.7~31.4 秒,4 次错误密钥调用耗时 9.1~28.5 秒,而它们第一次响应就已经给出了最终答案。
异常处理也会被影响。tenacity 默认 reraise=False,耗尽次数后抛出的是 tenacity.RetryError。作者两轮中的 12 次 cookbook 调用,都绕过了已有的 except openai.RateLimitError 和 except openai.AuthenticationError,落入通用异常分支。
要取回原始异常,可以访问 RetryError.last_attempt.exception();如果希望原来的分类处理继续生效,更直接的办法是配置 reraise=True。
两种修法,先选谁负责重试
作者倾向于让 tenacity 独占重试,并按错误原因筛选。下面这段代码同时解决重复重试、额度错误空等和异常包装问题:
import openai
from tenacity import retry, retry_if_exception, stop_after_attempt, wait_random_exponential
client = openai.OpenAI(max_retries=0) # 由 tenacity 这一层统一负责重试
def is_transient(exc: BaseException) -> bool:
if isinstance(exc, openai.RateLimitError):
return exc.code != "insufficient_quota"
return isinstance(exc, (openai.APIConnectionError, openai.InternalServerError))
@retry(
retry=retry_if_exception(is_transient),
wait=wait_random_exponential(min=1, max=60),
stop=stop_after_attempt(6),
reraise=True,
)
def completion_with_backoff(**kwargs):
return client.chat.completions.create(**kwargs)
要连着看 max_retries=0、retry_if_exception(is_transient) 和 reraise=True:它们分别限定责任、筛选错误、保留异常类型。该 SDK 中 APITimeoutError 继承自 APIConnectionError,所以超时也被覆盖。
同一个 stub 下,限流调用降为 6 个请求,两轮耗时 8.4~21.5 秒,最终进入 openai.RateLimitError 处理分支;额度不足和错误密钥都只请求一次,在 0.1 秒以内失败。
另一种修法更短:删除 tenacity,设置 OpenAI(max_retries=5)。这里的 5 是重试次数,加上首次请求,共 6 次。限流调用耗时 13.2~14.3 秒,计数从 0 到 5,最终直接抛出 openai.RateLimitError。代价是额度不足同样请求 6 次,耗时 13.5~13.9 秒。
作者查阅 3.51.0 源码发现,SDK 还会遵循最长 120 秒的服务端 Retry-After;wait_random_exponential 不读取这个响应头。不过,这部分没有实测。
我的判断
这组实验最有说服力的是请求数量和异常类型,耗时只能作为本地退避行为的样本。
stub 即时响应,不发送 Retry-After 或 x-should-retry。真实服务可能给出不同指令,SDK 又会优先检查 x-should-retry。作者没有确认真实额度错误是否携带它,也没有验证请求突发会怎样影响真实限额窗口。
因此,不能把「18 次请求」直接理解成真实环境必然发生的所有情形,更不能据此推导吞吐改善比例。作者没有给出真实服务上的对照数据。
我赞同让重试只有一个负责人,但不把示例当成完整生产策略。它排除了 insufficient_quota,其余 RateLimitError 都会重试;如果错误码缺失或出现其他原因,仍要结合接口约定判断。示例也没给出总耗时预算,最多尝试 6 次不等于用户最多等待多久。
选择 SDK 单层重试,代码更少,也能利用其响应头处理;选择 tenacity,则更方便控制错误分类。取舍应围绕需要控制什么,而不是默认再套一层。
能拿来做什么
- 检查日常 AI 调用的完整链路,把 SDK、业务封装和任务重试分别列出来,再计算一次操作最多产生多少请求。采用外层策略时,明确关闭 SDK 内部重试。
- 给额度不足、认证失败和临时限流安排不同的业务出口。前端需要展示配置或账单问题时,后端应保留可识别的错误类型,避免统一变成「稍后重试」。
- 使用 tenacity 时检查
reraise=True,并验证耗尽重试后能否进入现有异常分支。原文实验针对 Python SDK,Node 项目应先检查所用客户端的默认行为,再采用同样的排查方法。 - 在代理日志中记录
x-stainless-retry-count,或设置OPENAI_LOG=info查看 SDK 的Retrying request日志。先确认请求到底重发了几次,再调整等待参数。