用独立校验发现智能体的虚假成功
一次邮件批处理被智能体标为完成,实际有邮件退回。作者开源了 FailLoud,用确定性规则校验智能体输出,并提供 CLI、Python API 和 MCP 服务。
AI 深度解读
Agent 把一批邮件标成「已发送」,其中一封却退信了。任务状态是 done,摘要写得具体,整个流程也没抛异常。发送邮件和报告成功的是同一个组件,下游直接信了它的报告。
作者从生产故障里归纳出六种静默失败,并做了开源校验工具 FailLoud。它把验收拆成两步,先检查产物内部是否自洽,再用权威系统的后续记录复核真实结果。对写 Agent 的程序员来说,这个区分能直接用到任务状态设计里,因为任务跑完、产物过检和外部动作成功,可能分别发生在三个时间点。
为什么文件存在,任务还是会失败
作者遇到过一个已经上线的页面,正文还留着占位文案。文件存在,部署完成,原来的检查全过了。前五类静默失败里,有两类都和「空」有关。一类是整份交付物还停在草稿阶段,例如正文留着 lorem ipsum、没渲染的 {{template}} 或 coming soon。另一类是结构齐全,局部缺内容,例如必填字段是空字符串,或者视频里有一段本应有声音的内容全程静音。前者要识别草稿残留,后者得逐字段或逐段验收。
另外三类分别出在回执、输入状态和汇总数字上。Agent 写了「已发送」「已发布」「已更新」,却没附消息 ID、URL、回执或产物,下游就缺了核对依据。计划也可能写得很完整,但依赖的状态快照已过期。作者留存的一份输出里,快照已有 77.1 小时,超过 24 小时上限。同类问题还包括完全没有时间戳,或传入的状态版本是 9,产物却记着 7。最后一种更容易查,摘要说发了 12 条,同一份 JSON 的明细只有 9 条。尝试数和完成数如果共用一个口径,读报告的人很容易把前者当成后者。
下面两条命令用仓库的失败样例和修正版演示首轮校验,失败样例同时触发了前五类问题。
$ failloud check examples/failing_output.json
FAILLOUD — agent output verification
Verdict: FAIL (8 error(s), 1 warning(s))
$ failloud check examples/passing_output.json
Verdict: PASS (0 error(s), 0 warning(s))
第一条 Verdict 报了 8 个错误和 1 个警告。定位时看每项发现里的 JSON 路径和数值,例如 $.counts.sent 声称 12 条,明细只有 9 条。有了路径,维护者可以直接找到对应字段和明细。
RAG 有引用,为什么答案仍可能站不住
第六类针对检索增强生成(RAG),在 FailLoud 0.6.0 加入,规则编号 FL006。它检查每条引用是否指向实际检索到的来源、被引用来源是否含有正文,以及回答里的每个数字是否在来源文本中出现。1,200、1200 和 1200.0 按同一个数字处理。
仓库里运行 failloud check examples/rag_failing.json --only FL006,结果是 FAIL,共 4 个错误、0 个警告,分别是两条捏造的引用和两个编造的数字。数字出现在哪里、修饰什么对象,则属于语义判断。比如来源写着某项服务每月有 1,200 次请求,回答却把它说成有 1,200 名付费用户,数字匹配依然可能通过。FL006 的检查范围到引用解析、来源文本和数字匹配为止,来源能否推出回答还需要单独评估。
为什么 PASS 还要等一轮
评审者指出,Agent 完全可以交出一份自洽的报告。摘要说发了 9 封,明细正好 9 条,每条还有消息 ID。一小时后,有一封退信了。首轮校验只看当时拿到的文档,所以 FailLoud 把 PASS 标为 provisional,表示暂时通过。第二轮用邮件服务商的投递导出或数据库快照等权威记录,复核原来的声明。
下面的命令演示怎样把原始输出和后来导出的记录一起交给 recheck。
$ failloud recheck examples/second_pass_original.json examples/second_pass_record.json
FAILLOUD — second-pass verification
First pass: PASS (provisional)
Second pass: CONTRADICTED
✗ email_sent → reader09@acme-digest.com — evidence 'msg_8f09' appears in a
failure context (bounced / failed / rejected) in the system of record.
✗ delivered — reported as 9 but the record shows 8.
留意 msg_8f09 那一行,消息 ID 确实存在,但它出现在退信、失败或拒收的记录中。投递总数也从报告里的 9 封变成了记录里的 8 封。复核会把每条声明判为已确认、被反证或无法验证。记录里找不到对应证据的声明归入无法验证。
项目可用 pip install failloud 安装,提供 Python API、CI 用的 CLI,以及在采取下一步动作前检查子 Agent 输出的 MCP server。CLI 的退出码 0 表示通过,1 表示产物校验失败,2 表示工具错误。Playground 可以在浏览器里粘贴产物查看报告,作者称数据全程留在本地。
我的判断
最能直接借鉴的地方,是把「做完了」拆成可定位的字段和能回查的证据。JSON Schema 适合挡住缺字段、类型错误和一部分空值,计数与明细对账、快照时效和回执复核需要结合业务规则。如果团队已经有独立的投递记录或任务表,先用现有数据做对账,也能借用这个思路。DeepEval 和 Ragas 更贴近需要在测试集上做评分的场景。原文没有提供工具间的对照数据。
第二轮的前提是团队拿得到权威记录,能用 ID 关联同一笔动作,还知道什么时间点查才有意义。比如邮件服务接受请求和最终投递是两个状态,提前拉一次导出,可能赶在退信之前。文章没有给通用的复核时间窗口。六类问题来自作者的生产经验,仓库样例展示了规则能抓住什么。项目首版发布于 2026 年 11 月 12 日,采用 MIT 许可,核心零依赖,有 162 个测试。作者尚未给出用户规模,实际团队里的覆盖率和误报率也没有数据。
能拿来做什么
- 给生成页面或报告的 Agent 加产物校验。前端页面发布前扫一遍团队约定的占位文案和未渲染模板,再检查影响交付的字段或区块有没有内容。
- 让 Node 批处理把动作结果逐条写入 JSON,保留消息 ID 等回执,并从明细生成汇总。依赖状态快照的任务也把时间戳和版本写进产物,便于定位用了哪份输入。
- 给依赖外部回执的动作保留「待复核」状态。等服务商记录或数据库快照可用后,按证据 ID 回查,再让下游任务依据已确认、被反证或无法验证的结果继续处理。