用超时与选择性重试稳住大模型调用
文章介绍围绕大模型 API 的超时、重试和回退等可靠性模式,并给出 httpx 与 tenacity 示例。强调根据实际延迟设定超时,仅重试限流、超时和部分服务端错误。
AI 深度解读
LLM 调用成功返回之前,可能先遇到 429 限流、生成超时、5xx 错误;即使拿到响应,内容也可能无法使用。作者给出的结论是:生产环境需要同时配置超时、定向重试、降级、并发限制和监控。
这些做法没有新奇算法,却直接影响用户会看到答案、错误提示,还是一直转圈。对正在接入 AI 功能的前端和全栈团队,这篇短文更适合作为一次调用链检查,而不是可以直接照搬的完整方案。
超时和重试,要一起设计
作者认为,面向用户的请求挂住两分钟,比快速失败更糟。超时应该根据真实延迟确定:给正常的慢响应留余量,同时别超过用户愿意等待的时间。
这段配置为 HTTP 请求设置超时:
import httpx
client = httpx.AsyncClient(timeout=httpx.Timeout(20.0, connect=5.0))
要看的是最后一行:默认超时设为 20.0 秒,连接超时单独设为 5.0 秒。这是示例参数,不是所有模型的推荐值,也不能直接当作包含排队和重试的整条请求总时限。
重试则需要区分错误类型。400 Bad Request 通常需要修改请求,重复发送没有帮助;429 和部分 5xx 错误才可能在稍后恢复。
下面的代码把重试范围、等待方式和停止条件放到了一起:
from tenacity import (
retry,
retry_if_exception,
stop_after_attempt,
wait_random_exponential,
)
def is_retryable(exc: BaseException) -> bool:
if isinstance(exc, httpx.TimeoutException):
return True
if isinstance(exc, httpx.HTTPStatusError):
return exc.response.status_code in {429, 500, 502, 503, 504}
return False
@retry(
retry=retry_if_exception(is_retryable),
wait=wait_random_exponential(min=1, max=20),
stop=stop_after_attempt(4),
reraise=True,
)
async def call_llm(payload: dict) -> dict:
response = await client.post(LLM_URL, json=payload)
response.raise_for_status()
return response.json()
重点看 wait_random_exponential(min=1, max=20) 和 stop_after_attempt(4):等待采用带随机抖动的指数退避,总共最多尝试 4 次,包含第一次调用。
随机抖动解决的是请求扎堆。如果一批客户端同时被限流,又在同一时刻重试,很容易再次撞上限额。response.raise_for_status() 也不能漏,否则 HTTP 错误未必会进入这里的状态码判断。
重试耗尽之后,用户应该看到什么
作者列出的降级顺序是:备用模型或更小的模型、相同或相似问题的缓存答案,最后才是明确告知暂时无法回答。
原文示例先调用 primary_model(question),失败后通过 logger.exception 记录异常,再用 cache.get(question_key(question)) 查缓存;没有缓存,就提示稍后重试。
降级的价值,是让失败也有一个明确的结束状态。
但示例只展示了按问题键取缓存,没有交代相似问题如何匹配,也没有实现备用模型切换。这些仍需要业务自己补齐。
流量控制则要提前做。作者用 asyncio.Semaphore(10) 包住 call_llm(payload),限制同时进入调用区间的任务数量,减少突发流量引发的一波 429。运行多个 worker 或多台服务器时,需要把限制放到 Redis 等共享设施中,避免每个进程各算各的。
最后,每次调用都应记录延迟、重试次数、是否使用降级。作者用「降级悄悄处理了 20% 流量」举例说明监控价值,并没有说这是他们团队测得的比例。
我的判断
这套思路成立:超时控制等待,重试处理短暂故障,降级安排失败出口,并发限制减少主动制造的拥堵,指标帮助发现问题。
不过,原文没有提供成功率、延迟或成本的前后对照,属于工程经验建议。20 秒、4 次尝试和并发 10 都需要结合实际流量验证。
还有两个边界。第一,信号量限制的是并发量,不能保证请求数或 token 用量符合服务商配额。第二,作者提到「响应到了但不可用」,代码却没有展示内容校验;JSON 能解析成功,也不代表结果满足业务要求。
相较于只在前端加一个「重新生成」按钮,这套方案覆盖了服务端恢复路径。但重试会增加等待和调用成本,仍需给整个用户请求设置总预算。
能拿来做什么
- 在 Node 服务的模型调用入口统一设置超时和错误分类,明确哪些错误允许重试,避免各业务接口自行处理。
- 把最多尝试次数、退避等待和排队时间一起纳入请求预算,让前端能在可预期的时间内结束加载状态。
- 为问答功能明确降级顺序,并检查缓存答案是否适合当前问题;没有可靠结果时,给出清楚的失败提示。
- 按调用记录延迟、重试次数和降级使用情况,再用这些数据调整超时与并发配置。