Celery 超时重投导致大模型任务重复执行
作者的 PDF 摘要流水线在14晚内有214个任务重复执行,原因是 Redis 消息超过可见性超时仍未确认,被再次交给其他工作进程。文章解释了延迟确认与预取如何放大问题,并建议让超时覆盖最长任务及等待时间。
原文暂未完整获取,基于公开信息的快读
作者的一条 PDF 摘要流水线出现了重复结果:同一文档被 Claude 生成了两份摘要,两次执行使用相同的 Celery task ID,启动时间相隔约 61 分钟。作者排查发现,14 晚内有 214 个任务至少执行了两次,原因指向 Redis 消息超过 visibility_timeout 后被重新投递,而首次执行仍未结束。
目前能确认什么
这条流水线会拆分 PDF、逐块摘要,再合并结果。作者给出的任务耗时多数为 4 至 15 分钟,大文档则可能达到 60 至 110 分钟。
按节选描述,Redis transport 的 visibility_timeout 默认为 3600 秒。作者启用了 acks_late=True,任务完成后才确认消息。长任务超过这个时间仍未确认,就可能被恢复到队列,交给另一名 worker。
可见性超时用于判断是否重新投递消息,并不会终止原来的任务。
预取(prefetch)还会把问题扩展到短任务:消息已经被 worker 预留,即使尚未开始执行,也处于未确认状态。排在长任务后面的短任务,可能在等待时就触发重投。
相同 task ID 不能单独证明发生了并行重复执行。作者进一步查询了同一 ID 下执行时间重叠的记录,这是排查时更有用的证据。
我的判断
长耗时 LLM 任务接入队列时,超时预算需要覆盖执行时间和预取后的等待时间。只看单次 API 调用耗时,容易漏掉分块处理、合并以及排队消耗。
作者提出提高 visibility_timeout、将 worker_prefetch_multiplier 设为 1,并增加任务级幂等保护。这几项分别减少过早重投、压缩预取等待、限制重复执行的副作用;其中预取设为 1,不能理解为彻底取消预取。
调大超时有代价:worker 真正崩溃后,消息也可能等待更久才被重新投递。
节选未完整展示配置方式,也没交代幂等保护如何处理并发竞争。能否阻止重复付费调用,取决于保护发生在调用前,还是仅在结果写入时去重,这一点仍需确认。