Python 等待超时后,线程为何还在跑
实测中,4 个线程任务等待 1 秒就报超时,却各自跑满 5 秒,导致后续任务排队。对必须在超时后停止的调用,文章演示了用子进程隔离并终止任务。
AI 深度解读
给 Python Agent 的工具调用加上 1 秒超时,工具就会在 1 秒后停下来吗?作者用一个四线程实验发现:调用方已经收到 TimeoutError,后台任务却照样跑满 5 秒,连后续只需 0.1 秒的任务也被堵住了。
关键结论是:future.result(timeout=1) 限制的是等待时间。对于已经开始执行的线程,future.cancel() 也无法强制终止。理解这件事,能解释 Agent 的重试为什么越跑越慢,以及 CLI 为什么输出答案后还迟迟不退出。
超时异常为什么没能停掉工具
作者在 CPython 3.14.4、Linux 7.0 上运行了两份脚本,每份执行两次,输出一致。线程实验使用四个 worker,提交四个耗时 5 秒的工具调用,再依次用 result(timeout=1) 等待。
下面的输出展示了超时、线程占用和后续任务排队之间的关系:
result(timeout=1): 4 TimeoutError by 4.00s, cancel()=False, running=4, threads=5
fresh 0.1s call on same pool returned after 1.10s
wait_for(to_thread, timeout=1): TimeoutError at 1.00s
asyncio.run returned at 8.10s
completed in background: [('call0', 5.0), ('call1', 5.0), ('call2', 5.0), ('call3', 5.0), ('fresh', 5.1), ('async', 8.1)]
要看第一行的 running=4:到了 4.00 秒,四次等待都已超时,四个调用仍在运行。这里是依次等待,每次最多等 1 秒,所以累计到 4 秒,并非四个任务同时在第 1 秒结束。
future.cancel() 只能取消尚未开始执行的任务。任务已经执行,或者已经完成,就会返回 False。Python 没有受支持的通用办法,可以安全地强杀一个正在运行的线程。
收到 TimeoutError,只能证明调用方停止了等待。
实验中的函数只是休眠,最后写入一个列表。如果换成发送邮件或写数据库,调用方记录「工具超时」之后,后台仍可能产生副作用。此时贸然重试,还可能把同一操作执行多遍。
为什么快任务和程序退出也会被拖慢
四个调用在第 5 秒才完成。在第 4 秒提交的那个 0.1 秒任务,必须先等约 1 秒腾出 worker,最终耗时 1.10 秒。
这也是线程池故障容易误判的地方:慢任务的记录已经标成超时,但它们还占着执行资源。后续快任务的耗时包含排队时间,看起来像是快任务自身变慢了。
作者据此提醒,不能只看调用耗时,还要看队列等待时间。至于大量重试会把生产环境拖慢到什么程度,原文没有压力测试,这部分属于基于实验机制的推演。
asyncio 也不会自动解决线程终止问题。作者执行:
asyncio.wait_for(asyncio.to_thread(tool, 3), timeout=1)
等待确实在 1.00 秒后抛出异常,但底层线程仍继续执行。随后 asyncio.run() 关闭默认 executor 时,又要等待线程完成。
原文中的 8.10 秒是整段实验的累计时间,不是这次异步调用单独运行了 8.10 秒。这个 3 秒任务超时后还剩约 2 秒工作,因此退出阶段又停顿了约 2 秒。CLI Agent 打印答案后仍不退出,就可能卡在这里。
真要停止执行,进程和内部超时怎么选
对于无法配合取消的慢函数,作者改用单 worker 的进程池,把任务放进可以终止的独立进程:
import multiprocessing as mp
import time
def tool(secs):
time.sleep(secs)
return "ok"
def run_tool(fn, *args, timeout):
ctx = mp.get_context("spawn")
with ctx.Pool(1) as pool:
res = pool.apply_async(fn, args)
return res.get(timeout=timeout) # leaving the with-block terminates the worker
要注意 return res.get(timeout=timeout) 所在的 with 块:等待超时后异常向外传播,退出上下文会终止 worker。真正停止工作的是进程清理,而非 get() 的超时参数本身。
作者测得的结果是 TimeoutError at 1.04s, children left: 0,正常调用则输出 ok 0.16s。代价是每次调用约 0.15 秒的 spawn 启动开销,函数、参数和返回值还要满足 pickling,也就是可序列化传递的要求。这些耗时只代表作者的环境。
如果工具只是 HTTP 请求,作者更倾向于在调用内部设置真正的超时,例如使用 httpx 的 timeout,或者用 asyncio.timeout 包住异步客户端调用。底层操作能够响应取消,就不必每次创建一个进程。
这里需要补一道边界:终止本地进程不会撤销远端已经收到的写请求;协作式取消也不能保证远端写入一定没有发生。原文把协作式取消描述得过于理想,涉及写操作时,仍需单独处理结果不确定的问题。
我的判断
这篇最有价值的是把「调用方超时」和「执行方停止」分清楚了。四线程实验足以说明:超时记录不能当作资源已释放的证据,cancel() 也不能当作终止开关。
但它没有证明进程池是所有 Agent 工具的最佳方案。实验函数是 time.sleep(),没有覆盖真实网络请求、数据库事务或复杂外部程序;每次约 0.15 秒的开销,也没有跨环境对照。
我的取舍是:能在底层调用设置超时,就先在那里处理;确实无法配合取消、又必须限制本地执行时间的函数,再考虑进程隔离。进程解决的是执行边界,写入是否成功、能否重试,需要另外设计。
能拿来做什么
- 检查 Python Agent 中包着
ThreadPoolExecutor的工具调用,确认超时后底层函数是否仍会继续运行,尤其关注带写入副作用的工具。 - 给工具监控补上排队时间和实际完成时间,排查快工具变慢时,先确认 worker 是否仍被已超时任务占用。
- 对 HTTP 工具优先配置客户端内部超时;只有无法响应取消的慢函数,才评估独立进程及其启动、序列化成本。
- 排查 CLI 输出答案后迟迟不退出的问题时,检查
asyncio.to_thread()启动的任务是否尚未完成,以及退出时是否正在等待默认 executor。