Agent 审计失真:读取次数为何不可信
一次任务的读取统计混入了历史运行与索引同步记录,导致计数虚高;审核模型却只收到总数,无法判断是否读过指定文档。作者将统计限定到当前运行的任务记录,并补充文件路径作为审核证据。
AI 深度解读
一次执行 6 个任务,系统却报了 639 次文件读取;同一轮里,负责验收的模型又以「没有证据表明读过设计文档」为由拒绝了结果。作者排查后发现,计数和验收依据各有问题。11 周后,类似错误再次出现。
这篇最有价值的提醒是:决定 AI 任务能否通过验收的数字,必须能追溯到定义明确的原始记录。 对正在搭建 AI 编程助手、工具调用日志或自动验收流程的程序员,这比调整提示词更值得先检查。
639 次读取,为什么证明不了读过一个文件
2026 年 7 月 12 日,作者发现,read_ops 并没有统计当前任务读了多少次文件,而是在扫描整个证据存储。
这个存储按需创建,却从不在执行结束后清空。索引和上下文同步也往里面写记录,而且不关联任务。于是,历史执行和后台活动全部混进了同一个数字。作者形容,它测量的是进程运行了多久,而非本轮做了多少工作。
另一头,负责验收最终答案的模型,也就是作者所说的 authorizer,只拿到了计数,没有文件路径。它需要判断「是否读过设计文档」,手里却只有「639」这个总量。
验收时出现的拒绝理由是:
"no evidence of reading the design document"
这里要关注 design document:这是一个针对具体文件的问题,总次数无法提供对应证据。
作者当天做了三处修正:read_ops 只统计关联当前执行任务的记录;验收数据包最多携带 16 条「哪个任务读过哪个文件」的路径记录;验收指令明确规定,路径出现在列表里,就算读过该文件的证据。
这解决了当时的问题,却留下了一个前提:写进列表的记录,真的代表读取。
关联了任务,也不代表读过内容
9 月 27 日,后续改动让分析记录器写出的每一行都带上任务标识,包括 grep 命中和目录列表。
计数器代码没变,但「关联任务的记录」已经不再等于「读取记录」。
在会话 64c902e0 中,一个子任务报告了 1,107 次读取,实际具有内容读取记录的文件只有 34 个。其中 944 条记录来自同一次搜索:
grep "package org.example"
要注意 "package org.example" 只是搜索模式。命中某个文件,不能证明任务随后打开了它。验收数据包列出的那个证据文件,恰好就只是被 grep 命中,从未打开。
作者更认可第二次修复:每条记录写入时,就用类型字段标明文件是通过读取、grep 命中,还是目录列举被发现的。只有读取类型进入计数,不再事后根据记录文本猜测。
证据的类型应该在事件发生时确定,而不是到验收时补猜。
作者还用一段传统系统故障说明数字语义的重要性:一个加盟订购应用稳定运行了 2 年,每小时能处理 30,000 次登录,后来突然连 1,000 次都扛不住。排查持续了一个月,仪表盘却一直正常。
线索藏在一条值为 0 的缓存电池寿命日志里。HP 存储设备为电池设置了硬编码的服役期限,到期后,无论电池实际状态如何,存储管理器都会绕过缓存。当时底层还是机械硬盘,绕过缓存直接影响了性能。那个 0 对应的系统行为,远比数值表面表达的更重要。
我的判断
作者说得最有道理的地方,是把排查重点放到了数据生产者身上。第一次,记录没有正确归属;第二次,所有记录都有了归属,但混入了不同事件。两次都无需修改计数器代码,就能改变数字的含义。
与继续强化验收提示词相比,补齐路径和事件类型更直接。模型拿不到对应文件的证据,再严格的指令也无法补出事实。
但这里有两个边界。
首先,读取记录只能证明发生过读取,不能证明模型理解了文档,也不能证明最终实现遵守了要求。原文没有提供验收准确率的对照数据,因此不能据此断言这套修复让自动验收可靠了多少。
其次,最多 16 条路径只是数据包的容量限制。超过限制后如何选择记录,目标文档是否可能被遗漏,原文没说清。验收时还需要区分「记录明确显示没有读取」与「当前数据包没有提供读取证据」。
证据本身也有限:7 月的原始日志已经过期,相关数字来自当天写下的规格条目 Spec 004、AC-004-006-13,该条目于 7 月 12 日编写、9 月 27 日修订。这是有具体故障记录支撑的工程经验,不是完整的对照实验。
能拿来做什么
- 给 AI 编程助手记录工具行为时,将文件读取、搜索命中和目录列举分成明确类型,并在写入时确定类型,避免统一塞进「读取次数」。
- 在前端或 Node 项目的自动验收中,如果要求助手先读设计文档,就传递对应任务、文件路径和读取类型,让验收条件能落到具体记录。
- 检查所有参与通过或拒绝决策的计数,列出底层表的全部写入方,尤其留意索引、上下文同步和后台分析是否混入任务数据。
- 修改日志写入逻辑时,同时检查下游指标的定义。即使统计代码没有变化,新写入的数据也可能让旧指标失去原来的含义。