给 AI 调试设门槛:有新证据再改
作者将“没有新事实就不进行第二次修复”提炼为 Agent 调试技能,限制反复猜测和无依据修改。案例中,本地测试通过却无法公网访问,最终交叉核对前后端日志与 DNS,发现记录指向私网地址。
AI 深度解读
AI Agent 排障最贵的时刻,往往是它连续改了几轮,却没有获得任何新信息。作者从一次生产故障中提炼出一条规则:第二次修复前,必须先拿出一个来自实际环境的新事实,否则停止重试。
这套做法被整理成了一个 Markdown skill。它的价值不在于提供更多排障技巧,而是约束 Agent 什么时候可以动手、什么时候必须补证据。对于经常让 AI 协助查部署和配置问题的程序员,这比一份更长的提示词更值得琢磨。
本地检查全通过,为什么外部用户仍然访问不了
作者遇到过一次生产服务故障:外部用户无法使用,本地检查却全部通过。Agent 轮流怀疑配置、端口、防火墙,又尝试重启。几个小时过去,消耗了每周 token 预算的约 6% 到 7%,仍然没有解决问题。
转折来自同时查看前端和后端的托管日志。证据摆到一起后,问题在 10 分钟内修好了。
真正的原因是 DNS 记录指向了私有网络地址,而非主机实际的公网地址。测试机器恰好位于那个私有网络内,所以本地测试能够通过;外部用户没有这条网络路径,自然访问失败。
关键不只是「早点看日志」。作者强调,没有哪一份日志单独写出了完整答案。需要把 DNS 指向与实际网络可达性对起来,才能看到矛盾。
这里的「证据面」,可以理解为能观察系统真实状态的入口,例如日志、DNS 记录和环境变量。模型知道某种配置通常怎么写,却不知道你线上究竟配成了什么。
第二次动手之前,Agent 必须回答什么
没有新事实,就不进行第二次修复。
这条规则要求 Agent 在重试前明确说明:上一轮证据采集,究竟带回了什么新信息。如果回答不出来,就不能继续花 token 猜下一个原因。
「换一种改法」不等于「获得新事实」。修改端口、调整防火墙、重启服务,看起来是不同动作,但如果没有新的观测结果支撑,它们仍然可能围绕同一个错误判断打转。
作者还设置了一个升级条件:经过两次真正不同的尝试,仍然出现相同的失败特征,就该怀疑当前对问题的理解已经过时。此时应查看最新变更日志、服务状态页和当天提交的 issue,排查近期更新或故障;如果外部也没有线索,就收缩成最小复现,从实际行为重新推理。
这与「互联网无法调试你的环境」并不冲突。查自己的 DNS、环境变量和套餐限制,需要自己的证据;查刚发生的上游变化,则需要新鲜的外部信息。问题类型不同,证据来源也不同。
这套流程还有几项配套要求:
- 开始前声明观察盲区,说明哪些环境能访问、哪些结论暂时无法确认。
- 在固定检查点采集证据,避免连续修改后才回头找线索。
- 提出原因前,先关联不同入口的观测结果。
- 把已经理解清楚的故障转成回归测试,让后续运行自动检查。
项目以 MIT 协议开源,内容是普通 Markdown,可以复制到 Agent 的 skills 目录,也可以放进项目指令。
我的判断
我认同它把「继续修改的资格」绑定到证据上。对于本地正常、线上异常,或者只有部分用户失败的问题,单看代码很容易漏掉部署环境和网络条件。要求 Agent 解释新增事实,也方便开发者判断它究竟在排查,还是在重复猜测。
但效果需要分开看。数小时排查、约 6% 到 7% 的周 token 预算,以及找到线索后 10 分钟修复,都是作者描述的一次事故经历。原文没有提供多任务对照数据,无法据此判断这套 skill 平均能省多少时间或 token。
「相同失败出现两次」也更适合作为流程提醒,不能直接证明模型知识过时。两次修改可能都没有触及真正原因,相同报错也可能掩盖不同故障。是否查外部资料,仍要结合已有证据决定。
与直接让 Agent「多尝试几种方案」相比,这套方法增加了证据整理的步骤,但能让每次修改更容易审查。它的前提是团队能提供必要的日志和环境访问能力。观察入口缺失时,skill 只能把盲区暴露出来,无法凭空补齐证据。
作者把自动测试形容为「零成本」执行规则,更准确的理解是:测试不必每次都依赖 Agent 回忆和推理。测试本身仍有运行与维护成本,而且原文没有解释 DNS、网络这类环境故障如何具体转成回归检查。
能拿来做什么
- 给项目里的 AI 排障指令加上一条重试门槛:每次再次修改前,写出新增事实、证据来源,以及它为什么支持下一步操作。
- 遇到前端本地正常、外部访问失败时,把前后端托管日志、DNS 指向和测试机器所在网络放在一起核对,避免仅凭本地结果排除网络问题。
- 两次不同尝试仍出现相同失败特征时,暂停修改,检查最新变更、状态页和 issue;线索不足就整理最小复现。
- 修复后把已确认的失败条件变成可执行检查;暂时无法自动化的部分,至少记录复现条件和观察盲区,方便下次从事实继续排查。