用消息队列串起 AI 故障调查流程
文章介绍故障调查工具 Pagedog:通过 webhook 接收监控告警,先存入消息队列,再由动态启动和关闭的工作进程执行多步 AI 调查。方案面向 Alertmanager、incident.io、PagerDuty 等告警入口。
AI 深度解读
AI 告警调查难的地方,不只是让模型读懂日志。告警收到了却没入库、Worker 查到一半崩溃、报告生成了却没通知出去,这些问题都发生在模型之外。作者用 Go 写了 Pagedog,把调查拆成消息队列连接的几个阶段,让接收、重试和交接有明确规则。
这篇值得读的,是它把「分布式 Agent」还原成了可检查的工程设计。不过,队列交接可靠,不代表模型调用不会重复;换成内存队列后,最初承诺的持久性也会缩水。
收到告警后,什么时候才能返回 200?
Pagedog 的流程并不复杂:Webhook 接收告警,写入 incidents 队列;Worker 调用 LLM 和观测工具完成调查,把报告存到外部,再向 reports 队列发送报告引用;通知程序读取报告,投递给 Slack、PagerDuty、incident.io 等目的地。
第一条规则是:只有告警全部成功入队,Webhook 才能确认接收。
下面这段代码解决的就是「上游以为送到了,系统实际上还没接住」的问题:
incs, err := src.Handle(req)
if errors.Is(err, ErrForbidden) {
http.Error(res, "", http.StatusForbidden)
return
}
if err != nil {
http.Error(res, "failed parsing body", http.StatusBadRequest)
return
}
for _, inc := range incs {
if err := s.enqueue(req.Context(), inc); err != nil {
// 来源可能重试整条通知,队列会去除已经发送的重复项。
http.Error(res, "failed sending job", http.StatusBadGateway)
return
}
}
// 200 OK.
要看的是循环之后的 200 OK:一条通知可能包含多个 incident,必须全部发送成功才能确认。鉴权失败返回 403,解析失败返回 400,入队失败返回 502,让可重试故障与无效请求分开处理。
这里依赖告警源的重试规则。作者按「5xx 重试、4xx 放弃」设计,接入具体平台时仍需核对,不能认为所有 Webhook 都如此。
部分入队后整批重试,会不会重复调查?Pagedog 让来源生成 inc.Key,再交给队列去重。Alertmanager 使用告警的 fingerprint 和开始触发时间构造标识。
但去重有时间边界。Spooler 的去重窗口是队列配置,通常为几秒到几分钟。同一个 key 在窗口内只形成一条消息;数小时后,仍在触发的告警再次送来,可以开启新调查,因为现场可能已经变化。
所以,「重复告警只调查一次」需要补上前提:它指窗口内的重复入队,并不保证整个业务过程永远只执行一次。
Worker 崩溃后,任务由谁接着查?
Pagedog 根据队列积压调整 Worker 数量。Visible 是等待领取的消息,Pending 是已经领取、正在处理的消息,两者相加,再受最小和最大 Worker 数限制。
这段代码把扩缩容目标直接写成了函数:
func desired(q QueueStats, minWorkers, maxWorkers int) int {
want := int(q.Pending + q.Visible)
want = min(want, maxWorkers)
want = max(want, minWorkers)
return want
}
关键是 q.Pending + q.Visible。如果只看等待任务,正在调查的 incident 就不会计入容量需求。协调循环定期比较目标数量与运行数量,再启动或关闭 Worker;实际执行可以是 goroutine、容器、Pod 或 serverless 函数,由 Runtime 的 Stats、Launch、Shutdown 隔离差异。
Worker 通过 Recv 领取消息,示例使用 WaitSeconds: new(1),最多等待一秒。领取并不删除消息,而是取得一份租约(lease):在有效期内由这个 Worker 处理,过期后允许重新投递。
调查可能很慢,因此 Worker 在租期经过约三分之二时调用 Renew,留下三分之一作为请求延迟余量。续租失败就取消调查的 context,尽量停止失去租约后的工作。
结束时也不是统一「失败重试」:成功执行 ack;普通错误执行 nack,消耗一次重试;关机时 release,不消耗重试;编码或版本问题可以进入 failed,等待人工处理;确认无需处理的消息则 discard。重试预算由队列的 maxRetries 控制。
LLM 部分反而很朴素。每轮 Complete 携带完整对话和工具定义,模型要求调用工具,程序执行后把结果追加回对话,再发起下一轮。模型只返回文本时,调查结束。
内置 Prometheus、Loki 工具都是只读查询;MCP 工具必须显式列出允许使用的清单。默认任务要求查看告警开始前 15 分钟到当前时间的数据,工具时间使用 RFC 3339,报告包含现象、证据、可能原因和下一步。MaxTurns 限制往返轮数,但它不是固定费用上限:每轮重发的上下文会变长,工具输出大小也会影响成本。
报告生成以后,为什么还需要一次原子交接?
报告正文不放在队列里。队列负责流转,文档交给 ReportStore 保存,reports 消息只携带 ReportURI。现有后端是本地文件系统和 GitHub issues,同一个 incident 再次保存时覆盖旧内容或更新对应 issue;S3 是作者提出的扩展方向。
真正关键的是 ack-and-send:确认 incidents 中的输入消息,同时向 reports 发送输出消息,两步作为一次原子操作提交。
如果先 ack 再发送,中间崩溃会丢掉后续通知任务;如果先发送再 ack,中间崩溃会让 incident 重新投递,导致重复调查和报告。Pagedog 用 Pipe.Pump 包装这个交接,回调成功后执行 ack-and-send。
它消除的是两个队列之间的交接缝隙,不是整个调查过程的所有重复执行。
LLM 调用和 ReportStore.Store 都发生在这次原子操作之前。报告已经保存、队列交接尚未成功时,Worker 仍可能崩溃,重试后也可能再次调用模型。按 incident key 覆盖报告有助于收敛存储结果,却不能退回重复消耗的 tokens。
最后的通知采用另一种取舍:所有目的地都成功后才 ack;任意一个失败,就 nack 整条消息。下一次会重新投递给全部目的地,已经成功的 Slack 也可能再收到一遍。
这是每个目的地「至少一次」投递的设计意图,代价是没有逐目的地进度记录。结合前面的 maxRetries,它也不等于无限重试直到必达;预算耗尽后的 failed 消息仍需要处理。
我的判断
我认可作者把可靠性规则放在模型外围:输入何时确认、任务何时重投、阶段如何交接,都能单独检查。即便替换模型,这些规则仍然有用。
但文章展示的是实现思路,没有提供故障注入结果、吞吐量、调查准确率或成本对照。作者花几天完成项目,不能据此推导出一般团队也能低成本获得可靠的自动调查能力。模型能否找对证据,原文没有验证数据。
最需要打问号的是部署模式。作者称托管 Spooler 提供持久化和复制队列;免费的本地版本把消息放在内存里,重启会丢失尚在队列中的工作。这时,即使已经返回 200 OK,也不能继续承诺告警永不丢失。
仍在触发的 Alertmanager 告警可能通过后续重复通知补回来,但已经恢复的短暂故障未必如此。外部报告正文还在,也不代表丢失的通知任务会自动恢复。
ack-and-send 的便利同样有适用范围:它把两个队列的交接责任交给 Spooler,却没有把外部报告存储纳入事务。与 outbox 表、幂等键相比,它减少了应用自己维护的协调状态;是否更合适,要看团队是否接受这套队列语义,以及现有数据主要存在哪里。
能拿来做什么
- 给 Node Webhook 接入告警时,把确认响应放在可靠入队之后,并核对来源的重试规则。为每次告警事件生成稳定标识,同时明确去重窗口,避免重试风暴反复启动调查。
- 给耗时 AI 任务补上租约、续租和取消机制,并区分普通失败与主动关机。关机释放任务不应消耗业务重试次数,取消信号也需要传到模型请求和工具调用。
- 把调查结果拆成外部文档和队列引用,明确「保存报告」与「发送通知」各自可能重复的位置。若重复通知不可接受,就需要目的地幂等能力或单独的投递进度。
- 尝试原文提出的 GitHub issue → 编码 Agent → PR 审查流程时,可以沿用分阶段队列和独立重试。先约定每一阶段交付什么、何时确认完成,再决定运行多少 Worker。