双 AI 审查工单实测,高严重度意见仅 74 条
团队让一个 AI 撰写工单,另一个只读 AI 自动评审,一个月内 175 次评审产生 819 条意见,其中 74 条为高严重度。作者发现,缩小审查范围并由人掌控执行,更符合团队的实际需求。
AI 深度解读
把 AI 写的工单交给另一个 AI 复核,一个月下来,175 次审查留下了 819 条意见,只有 74 条被标为高严重性。真正有价值的是那些扫一眼容易放过的事实错误,比如填错的截止日期、指错的回滚 tag。
作者最后缩小了审查范围,让写工单的 AI 自己收尾,同时把生产库的执行权留给人。对经常让 AI 整理需求、调查结论和上线记录的开发来说,这个案例最值得看的就是这两处边界怎么划。
第二个 AI 能查出哪些人工扫读容易漏掉的错
作者是一个美容院移动应用项目里唯一的 PM,和海外工程师协作。调查结果和规格摘要逐渐由 AI 写进 Backlog,量上来后,坏链接和事实错误开始混进去。2026 年 10 月 16 日,一次临时复核促使作者把检查改成自动触发。创建工单或更新正文时,只要正文至少有 200 个字符,就启动一个独立的审查 Agent。它只有读取权限,修改由原来的写作 AI 完成。
2026 年 10 月 16 日至 11 月 13 日,这套流程涉及 87 张工单,检测到 291 次写入,实际运行了 175 次审查。原文没有交代每次写入是否进入审查的具体原因。175 次里只有 15 次没有意见,每次审查的意见数中位数是 4 条。
第一天就查出一处容易漏看的错误。子工单表格里只有一条截止日期填成了「无」,其他行都对。后来又查到回滚步骤指向了错误的 tag,以及报告里写了 48 个样本、实际只有 40 个。还有一次,页面改版工单的前提和同一功能的实现工单冲突,写作 AI 修了两张工单,两次修改又分别触发了审查。几个例子有个共同点,得去对原始记录,光看这段话写得顺不顺查不出来。
近九成意见没到高严重性,为什么还要缩小范围
819 条意见里,74 条被标为高严重性,占比不到 10%。其余约九成没有达到这个级别,其中「低严重性」和「待确认」合计超过 60%。一条措辞意见和一个错误的回滚 tag 都算一条评论,但处理它们的价值差得很远。
10 月 20 日,作者停掉了对工单评论的审查,只保留工单创建和正文更新,因为团队主要把事实写在这些地方。作者也坦言,自己几乎不看审查意见,写作 AI 会在同一会话里根据复核结果修改文本。既然日常没有人逐条接手,审查结果就得能直接回到负责修改的 Agent 手里。
生产库的删除操作为什么仍由人执行
生产库采用了更严格的分工。AI 起草 SQL,由人执行。整个观察期里,AI 连接数据库 0 次。
11 月 5 日,人工运行 AI 起草的预检 SQL,结果返回 0 行,删除操作因此停了下来。AI 误解了一个 datetime 列的含义。调整目标行的识别方式后,才由人执行删除。事后复核又发现,完成报告里引用的 SQL 和先前贴出的删除 SQL 不一致,被标为高严重性。原文没有说明最终执行的 SQL 与报告里的 SQL 是否一致。
我的判断
这套做法最有说服力的地方,是把复核落到能查证的事实上。截止日期可以回看子工单,回滚 tag 可以核对发布记录,样本数可以回查原始结果。如果事实已经有结构化来源,程序化比对更直接,结果也容易复现。涉及两张工单各自对同一个业务前提作了什么描述时,第二个 AI 更适合帮忙找出冲突,再把证据指出来。
「缩小范围更划算」仍是作者的经验之谈。原文没有给出调整前后的耗时、费用、误报率或漏检率,也没有比较同一个 AI 自查一次能抓住多少错误。74 条是严重性标签的计数,实际避免了多少问题没有统计。作者几乎不看意见,因此改完以后有没有引入新错,也缺少系统性的人工抽样结果。
能拿来做什么
- 先挑一种会被工程师直接拿去执行的 AI 产出,例如调查结论或回滚说明。让复核逐项指出存疑的原句和对应证据,优先核对工单号、截止日期、样本数和回滚 tag。
- 把审查结果交回原写作 Agent,并记录触发次数、实际审查次数和复核轮数。遇到两张工单一起改的情况,这些记录能看出一次纠错带来了多少次复查。
- 用 AI 起草生产数据修复 SQL 时,把预检查询和变更语句分开。由执行人先核对命中行是否符合预期,再决定是否执行,并在完成记录里保留实际执行的语句。