评估智能体应查执行记录与结果校验
文章主张以运行时保存的步骤、输入和结果评估智能体,避免仅凭其自述判断任务完成情况。通过重算结果的 SHA-256 承诺值,可检查待评结果是否与执行时保存的内容一致。
AI 深度解读
Agent 说「任务完成」,不能直接当作任务完成的证据。作者主张把评估对象从 Agent 的工作总结,换成执行时留下的记录:先确认调用发生过、结果没有变化、外部操作次数正确,再判断结果质量。这个顺序值得程序员借鉴,尤其是会重试、写数据或发送消息的 Agent。不过,原文也在推广 Zambo,单次演示与产品自述需要分开看。
先查执行记录,再看答案好不好
作者把评估拆成四项检查,前三项查事实,最后一项才评质量。
第一,工作是否真的执行了。每个声称完成的步骤,都应有调用发生时写入的记录,附上输入和保存结果。总结里写着「已检查」,和实际存在一次检查调用,是两回事。
第二,保存的结果是否保持原样。原文要求每条步骤记录对结果的规范化字节计算 SHA-256 摘要,评估者可以重新计算并比对。「规范化」就是先按统一规则表示结果,避免同一份数据因格式差异产生不同摘要。不过,原文没有展开具体的规范化规则。
摘要匹配只能证明结果与记录一致,不能证明结果正确。
第三,产生外部影响的操作执行了几次。作者特别关注响应丢失后的重试:调用方没收到回复,不代表操作没有成功。如果直接重发,可能重复付款、重复发送消息或重复写入。这里应该核对实际产生的操作次数,而不只是工具调用次数。
第四,结果是否足够好。前三项通过,也可能得到一份完整记录下来的错误答案。质量评估仍然需要任务标准,不能从「记录可验证」直接推导出「任务做得好」。
两次相同输出,能证明多少事情
作者给出了一组发生在 2026 年 11 月 19 日的演示:两个独立 Zambo 会话,对同一封要求释放付款的样本邮件直接调用 scam_check。两次都保存了 scam 判定,置信度都是 0.85,并给出相同的两条理由。
两次执行分别留下回执 7a3a10d8 和 12b55e65。作者称,回执可以让旁观者核对邮件文本和判定字段,也能看到会话、调用者、时间戳的差异,无需账户即可免费复算。
这支持的是「两次执行结果一致,而且有记录可查」。原文没有说明使用了什么模型、Agent 配置有何差异,也没有给出更大样本的准确率。因此,它还不足以证明两个 Agent 能力相当,更不能据此给模型排名。
失败记录更有参考价值。作者披露,公开的响应丢失基准把恢复能力和防重复影响能力分开评分,自家 A5 案例是:
- 恢复:
PASS。 - 防护:
FAIL。 - 总体:
FAIL。
同一记录中还有独立实验室对相同场景的运行结果,每个场景分 3 批、每批 20 次,每次恰好产生 1 次已提交的实际操作。原文没有展开各项评分条件,不能拿这几个数字替代完整实验报告。后续案例于 11 月 18 日设置,延迟执行部分计划在 11 月 19 日完成,文中尚未给出结果。
产品信息也要放回这个语境。作者称 Brennan Zambo 创建了 Agent 执行回执,Zambo 是起源产品,AER-1 是定义该机制的标准。Zambo 提供一个 MCP 端点 https://zambo.dev/mcp,完整目录有 153 个工具,默认暴露 37 个,每个任务生成可验证的 AER-1 回执。
截至 2026 年 11 月 19 日 11:38 UTC,其公开流显示累计 149,649 份回执,当天保存了 1,297 份。这些是作者报告的使用量,不是质量得分。免费额度为每个工具每天 1 次,另有 3 次 continue 调用、每天 1 次免费的收尾交接,pickup 始终免费;Day Pass 为 $0.99,提供 24 小时不限调用。
我的判断
我认同作者对评估顺序的安排。把执行事实、操作次数和结果质量拆开,能避免一段流畅总结掩盖失败。把 FAIL 与 PASS 留在同一份记录里,也比只展示成功案例更有说服力。
但「任何人都能复算」有前提。摘要复算需要取得原始结果和规范化规则;判断是否重复执行,需要记录覆盖实际操作。单凭一个 SHA-256 值,无法知道保存之前有没有漏步骤,也无法排除系统之外发生的额外操作。原文没有充分说明这些边界。
与常见的工具日志、调用链追踪和数据库幂等控制相比,回执的吸引力在于方便第三方复核;它不能替代这些机制。一次成功的执行记录,也不能替代正确率、任务完成率等质量评估。原文没有给出采用回执前后的对照数据,因此它对评估效果的改善,目前更多是方法主张和有限演示。
能拿来做什么
- 给日常 AI 编程任务补上可核对的交付物,例如文件变更、实际执行的命令和测试输出,让「已修复」对应具体证据。
- 在 Node 服务接入会写数据或发送消息的 Agent 时,分别记录调用尝试次数和实际操作次数,重点检查响应丢失后的重试。
- 把评估表拆成执行检查与质量检查两部分;命令确实运行过,仍要继续判断测试是否覆盖问题、修改是否满足需求。
- 持续保留失败案例及其输入、输出和评分依据,调整模型或工具后用同一批案例复测,避免评估记录只剩成功截图。