LLM 流式请求为何突破了 30 秒超时
Python requests 的读取超时限制等待后续数据的间隔,并不限制请求总时长;持续输出或 SSE 心跳可能让异常请求长期占用线程。作者在两千次调用中观察到最长 31 分钟的请求,增加总耗时截止机制后将最坏情况降至 105 秒。
AI 深度解读
给 LLM 流式请求设置 timeout=30,请求却跑了 31 分钟,还没有抛出异常。作者遇到的不是 requests 失效,而是把「多久没收到数据」当成了「整个请求最多跑多久」。模型持续吐 token,甚至代理只发心跳,都能让这个计时器不断重置。
这次排查值得看,因为它把客户端、SSE 代理和模型服务之间的超时关系串了起来。作者给出的修复也有明确边界:同步循环里的截止时间仍可能延后触发,真正限制整段异步操作的是外层 asyncio.timeout。
为什么 30 秒超时挡不住 31 分钟请求
作者要用自托管模型给 2,000 份客服对话生成摘要和标签:单张 GPU 上的 vLLM 运行一个 8B instruct 模型,FastAPI 网关负责鉴权,并通过 sse-starlette 转发流。Python 客户端使用 requests.post(..., stream=True, timeout=30),配合 ThreadPoolExecutor 开 8 个 worker。
因为部分对话较长,作者直接把 max_tokens 设成了 8192。他预计每个调用超过 30 秒就会终止,任务约 25 分钟结束,实际却跑了 58 分钟。
问题出在超时的含义。requests 的 timeout=30 同时把连接超时和读取超时设为 30 秒:前者限制建立 TCP 连接的等待时间,后者限制 socket 读取时等待后续数据的时间。两者都不负责限制请求总时长。
读取超时限制的是沉默时间,请求截止时间限制的才是总耗时。
普通 JSON 接口往往计算完再一次性返回,两个时间看起来接近。LLM 流式接口通常每 20 到 100 毫秒就有新 token,哪怕生成持续几分钟,也可能始终达不到连续沉默 30 秒的条件。
作者记录了开始时间、首字节时间、结束时间、接收字节数,以及 SSE 注释行占用的字节。2,000 次调用中,49 次超过 30 秒,触发 ReadTimeout 的次数却是 0。
其中 8 次陷入重复生成:摘要已经结束,模型仍不断重复最后一个要点,直到耗尽 token 上限。负载下约每秒 30 tokens,生成 8,192 tokens 要四分半钟左右;多个循环重叠后吞吐下降,最慢一次用了 9 分 14 秒。读取超时不会阻止这种持续输出。
SSE 心跳为什么会掩盖上游故障
31 分钟的那次请求更隐蔽:模型已经停止输出,网关却还在发心跳。
sse-starlette 默认每 15 秒发送一条 : ping 注释,用来维持连接,避免负载均衡器或浏览器关闭空闲流。但网关调用 vLLM 时没有配置读取超时,于是形成了一条等待链:
vLLM 不再输出,网关继续等上游,sse-starlette 继续向客户端发心跳,客户端的 30 秒读取计时器每隔 15 秒重置一次。
日志里,这个请求收到了 124 条 ping,却没有任何 data 事件。124 × 15 秒 = 31 分钟,最后由作者手动终止。它独占了 8 个 worker 中的一个,时间超过整个任务的一半。
这里要分清两件事:网关还能发送字节,不代表模型仍在推进任务。SSE 心跳证明了下游连接还活着,却不能独自证明上游正常。
作者也没有完全查明 vLLM 停止输出的原因,只发现它与 8 个重复循环占用批处理资源的时间重合。把这段相关性直接写成故障根因,证据还不够。
怎样同时限制沉默时间和请求总时长
作者保留读取超时,再用 time.monotonic() 记录经过时间,在读取循环中检查 90 秒截止时间。这个时钟适合计算时长,不依赖系统日期时间。
下面这段代码解决的是:即使连接持续收到 token 或 ping,也要检查调用是否已经超出预算。
import time
import requests
READ_TIMEOUT = 30 # 字节之间允许的最长沉默时间
DEADLINE = 90 # 请求总耗时预算
class DeadlineExceeded(Exception):
pass
def stream_completion(session, url, payload):
start = time.monotonic()
chunks = []
with session.post(url, json=payload, stream=True,
timeout=(5, READ_TIMEOUT)) as resp:
resp.raise_for_status()
for line in resp.iter_lines(decode_unicode=True):
if time.monotonic() - start > DEADLINE:
raise DeadlineExceeded(f"{DEADLINE}s exceeded")
if not line or line.startswith(":"):
continue # 空白分隔行或保活心跳
if line.startswith("data: "):
data = line[6:]
if data == "[DONE]":
break
chunks.append(data)
return chunks
最该看的是检查顺序:必须先检查时间,再过滤以 : 开头的注释。如果先跳过 ping,只有心跳的流就会绕过截止检查。
但检查发生在 iter_lines 交出一行之后。服务器完全沉默时,代码仍会卡在读取中,需要读取超时兜底。作者把最坏情况概括为 DEADLINE + READ_TIMEOUT;在心跳每 15 秒到达并交给循环的条件下,则是 90 + 15 = 105 秒。这个同步方案不能当成精确的 90 秒硬截止。
作者测试过用 watchdog 线程到点调用 resp.close(),但不愿依赖跨线程关闭 socket。他更倾向于异步方案:
import asyncio
import httpx
async def stream_completion(client: httpx.AsyncClient, url, payload):
async with asyncio.timeout(90): # Python 3.11+
async with client.stream("POST", url, json=payload,
timeout=httpx.Timeout(30, connect=5)) as resp:
async for line in resp.aiter_lines():
...
关键是外层 asyncio.timeout(90),它负责超时后取消整个操作。HTTPX 的 connect、read、write、pool 超时仍然是分项等待限制,单纯换库并不会自动获得总截止时间。这段代码也只是展示控制结构,省略号处没有完整的事件处理逻辑。
作者还修改了两个源头:网关调用 vLLM 时增加 30 秒读取超时,上游沉默后结束流并发送错误事件;根据正常摘要约不超过 900 tokens,把 max_tokens 从 8,192 降到 2,048,让重复循环消耗的 GPU 时间从四到九分钟降到约一分钟。
同样的 2,000 份对话、同样的模型和 8 个 worker,任务耗时从 58 分钟降到 27 分钟,最长调用从 31 分钟降到 104.8 秒。客户端 ReadTimeout 仍为 0,此时已不构成问题。
我的判断
这篇最有价值的地方,是把三种信号拆开了:连接是否有字节、模型是否有进展、业务是否还愿意继续等待。三者需要各自的判断条件。
不过,58 分钟降到 27 分钟是多项修改共同作用的结果。作者没有分别测试客户端截止时间、网关读取超时和 token 上限的独立贡献,也没有给出多轮对照,不能把收益全部归给某一行代码。
90 秒也只是作者的策略选择。两次正常的长回答因此被截断,作者缩短 prompt 后各重试一次,均成功。原文把 11 次停止列为 8 次重复循环、2 次慢回答和1 次上游停滞,但最后一次先被网关捕获,这个统计混合了不同终止原因。
同步方案的 105 秒还依赖行被及时交给应用循环。原文没有展开缓冲、行边界等因素,也没有证明所有流都满足这个上界。
可以直接采用的是分层限制等待的思路,具体秒数和 token 上限要由自己的任务决定。
能拿来做什么
- 排查现有 LLM 调用时,把连接、首字节、总耗时、有效 data 事件和心跳分别记录。只看 HTTP 成功或持续收到字节,无法判断任务是否正在推进。
- 维护 Python 流式客户端时,同时保留读取超时和总耗时限制,并把截止检查放在心跳过滤之前。已有异步调用链且使用 Python 3.11+ 时,可以参考外层
asyncio.timeout的结构。 - 前端通过 SSE 网关接收模型输出时,检查网关到模型服务这一跳的超时设置,并约定错误事件的处理方式,避免页面持续等待一个只剩心跳的连接。
- 做摘要、标签等有明确长度范围的批任务时,根据正常输出分布设置
max_tokens和截止时间;对超时重试限制次数,原文采用的是缩短 prompt 后重试一次。