基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 13:41

双层重试让一次 API 调用膨胀到18次请求

dev.to · AI#OpenAI#Python#重试机制
Editor brief · 编辑速览

作者用本地错误服务复现:SDK 默认重试两次,叠加 tenacity 的六次尝试,使单次调用产生18次请求。文章建议只保留一层重试策略,或关闭 SDK 重试,由外层筛选适合等待后重试的错误。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给 OpenAI 调用加上「最多尝试 6 次」,最后却发出 18 个请求。作者用本地测试服务复现了这个问题:外层 tenacity 在重试,底层 Python SDK 也在重试,两套循环把请求数乘了起来。

更麻烦的是,额度耗尽和 API key 错误也被反复发送,最终异常还被包装,绕过了业务已有的错误处理。这篇值得读的地方,是把重试次数、错误分类和异常出口放到一起检查,而不只是调整退避时间。

为什么尝试 6 次会发出 18 个请求

作者检查的是 OpenAI 限流 cookbook 中的一种写法:用 openai.OpenAI(api_key=...) 创建客户端,再给调用套上 tenacity,配置 wait_random_exponential(min=1, max=60) 和 stop_after_attempt(6)。

单看装饰器,它最多执行 6 次。但 SDK 默认还有 max_retries=2,遇到符合条件的错误,会在首次请求之后再重试两次。对于持续返回的 429,每次外层尝试实际包含 3 个请求。

在作者测试的默认配置下,6 次外层尝试变成了 18 个 HTTP 请求。

实验使用 openai 3.51.0、tenacity 9.2.1 和 Python 3.14.4,在一台 Linux 机器上运行两轮,每轮 12 个客户端并行,各调用一次。请求通过 OPENAI_BASE_URL 指向本地 stub,没有流量发往 OpenAI。

以下日志分别对应限流、额度不足和错误密钥,能直接看出两层循环如何叠加:

A1: 18 requests (HTTP 429) over 19.9s, x-stainless-retry-count 0,1,2,0,1,2,0,1,2,0,1,2,0,1,2,0,1,2
Q1: 18 requests (HTTP 429) over 20.6s, x-stainless-retry-count 0,1,2,0,1,2,0,1,2,0,1,2,0,1,2,0,1,2
U1: 6 requests (HTTP 401) over 20.3s, x-stainless-retry-count 0,0,0,0,0,0

重点看第一行不断重复的 0,1,2:SDK 的重试计数每进入一次外层尝试就重新开始。

两轮中,cookbook 写法遇到 429 的 8 次调用,每次都发出 18 个请求,其中 12 个来自 SDK 重试。该版本 SDK 的退避从 0.5 秒开始翻倍,并减去最多 25% 的随机扰动。每组第三个请求距第一个只有 1.2~1.5 秒,外层 tenacity 此时还没开始等待。

原 cookbook 自己也提醒,失败请求会计入每分钟限额。只把外层等待时间拉长,管不到这组内部请求。

同样是 429,为什么有的应该立即失败

作者遇到的两种 429,处理方式应该不同:

  • rate_limit_exceeded 表示触及速率限制,等待后可能恢复。
  • insufficient_quota 表示当前额度不足,等待不会补充额度。

测试服务没有返回 x-should-retry,SDK 因而按状态码决定是否重试;tenacity 默认的 retry_if_exception_type() 又会对任何异常重试。额度不足便和普通限流一样,被发送了 18 次。

401 则暴露了另一半问题:SDK 不重试认证失败,但外层 tenacity 仍会尝试 6 次。两轮中,4 次额度不足调用耗时 20.7~31.4 秒,4 次错误密钥调用耗时 9.1~28.5 秒,而它们第一次响应就已经给出了最终答案。

异常处理也会被影响。tenacity 默认 reraise=False,耗尽次数后抛出的是 tenacity.RetryError。作者两轮中的 12 次 cookbook 调用,都绕过了已有的 except openai.RateLimitError 和 except openai.AuthenticationError,落入通用异常分支。

要取回原始异常,可以访问 RetryError.last_attempt.exception();如果希望原来的分类处理继续生效,更直接的办法是配置 reraise=True。

两种修法,先选谁负责重试

作者倾向于让 tenacity 独占重试,并按错误原因筛选。下面这段代码同时解决重复重试、额度错误空等和异常包装问题:

import openai
from tenacity import retry, retry_if_exception, stop_after_attempt, wait_random_exponential

client = openai.OpenAI(max_retries=0)  # 由 tenacity 这一层统一负责重试

def is_transient(exc: BaseException) -> bool:
    if isinstance(exc, openai.RateLimitError):
        return exc.code != "insufficient_quota"
    return isinstance(exc, (openai.APIConnectionError, openai.InternalServerError))

@retry(
    retry=retry_if_exception(is_transient),
    wait=wait_random_exponential(min=1, max=60),
    stop=stop_after_attempt(6),
    reraise=True,
)
def completion_with_backoff(**kwargs):
    return client.chat.completions.create(**kwargs)

要连着看 max_retries=0、retry_if_exception(is_transient) 和 reraise=True:它们分别限定责任、筛选错误、保留异常类型。该 SDK 中 APITimeoutError 继承自 APIConnectionError,所以超时也被覆盖。

同一个 stub 下,限流调用降为 6 个请求,两轮耗时 8.4~21.5 秒,最终进入 openai.RateLimitError 处理分支;额度不足和错误密钥都只请求一次,在 0.1 秒以内失败。

另一种修法更短:删除 tenacity,设置 OpenAI(max_retries=5)。这里的 5 是重试次数,加上首次请求,共 6 次。限流调用耗时 13.2~14.3 秒,计数从 0 到 5,最终直接抛出 openai.RateLimitError。代价是额度不足同样请求 6 次,耗时 13.5~13.9 秒。

作者查阅 3.51.0 源码发现,SDK 还会遵循最长 120 秒的服务端 Retry-After;wait_random_exponential 不读取这个响应头。不过,这部分没有实测。

我的判断

这组实验最有说服力的是请求数量和异常类型,耗时只能作为本地退避行为的样本。

stub 即时响应,不发送 Retry-After 或 x-should-retry。真实服务可能给出不同指令,SDK 又会优先检查 x-should-retry。作者没有确认真实额度错误是否携带它,也没有验证请求突发会怎样影响真实限额窗口。

因此,不能把「18 次请求」直接理解成真实环境必然发生的所有情形,更不能据此推导吞吐改善比例。作者没有给出真实服务上的对照数据。

我赞同让重试只有一个负责人,但不把示例当成完整生产策略。它排除了 insufficient_quota,其余 RateLimitError 都会重试;如果错误码缺失或出现其他原因,仍要结合接口约定判断。示例也没给出总耗时预算,最多尝试 6 次不等于用户最多等待多久。

选择 SDK 单层重试,代码更少,也能利用其响应头处理;选择 tenacity,则更方便控制错误分类。取舍应围绕需要控制什么,而不是默认再套一层。

能拿来做什么

  • 检查日常 AI 调用的完整链路,把 SDK、业务封装和任务重试分别列出来,再计算一次操作最多产生多少请求。采用外层策略时,明确关闭 SDK 内部重试。
  • 给额度不足、认证失败和临时限流安排不同的业务出口。前端需要展示配置或账单问题时,后端应保留可识别的错误类型,避免统一变成「稍后重试」。
  • 使用 tenacity 时检查 reraise=True,并验证耗尽重试后能否进入现有异常分支。原文实验针对 Python SDK,Node 项目应先检查所用客户端的默认行为,再采用同样的排查方法。
  • 在代理日志中记录 x-stainless-retry-count,或设置 OPENAI_LOG=info 查看 SDK 的 Retrying request 日志。先确认请求到底重发了几次,再调整等待参数。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
测试全绿,可能是编程 Agent 改错了断言
下一篇
多 Agent 开发副业两周暴露的工程漏洞

资讯速览

dev.to · AI · 2026-11-16 13:41

AI 评分 8.0 / 10

相关标签

#OpenAI#Python#重试机制

继续阅读

  • 用开源组件给 Expo 接入流式聊天
  • 测试全绿,可能是编程 Agent 改错了断言
  • 多 Agent 开发副业两周暴露的工程漏洞
  • Agent 审批恢复接口补上租户隔离
  • AI 同时写补丁和测试,绿灯还能说明什么