评测智能体时,给执行证据单独打分
作者让两个智能体执行同一项比特币报价查询,两次运行给出了相同答案,只有一次保存了工具输出与执行凭证。文章据此建议把结果正确性和执行过程的可核验性分别纳入评分。
AI 深度解读
两个 AI Agent 报出同一个比特币价格,答案都对。一个保存了实时查询的结果和执行回执,另一个只把价格写进日志。只看最终答案,两次运行打成平手。把记录交给没参与任务的人,只有一次能查到这个数字是怎么来的。
作者用这个小实验说明,评测 Agent 要分别给证据和答案打分。对经常让 AI 跑测试、查接口的程序员来说,这个区分可以直接用来验收任务。看到「测试通过」时,你还得知道它具体跑了什么,保存的输出能不能支撑这句话。
同一个正确答案,为什么证据分不同
作者让两次运行在同一天下午、同一网络里做同一件事:查询比特币的实时美元价格,并留下供别人复查的记录。运行 A 调用实时价格工具,保存的结果显示,CoinGecko 在 Tue, 17 Nov 2026 20:43:57 GMT 返回 BTC 报价 $63,925.00 USD。执行回执是 run/048cb553,来源类别为 EXECUTED BY ZAMBO。A 随后把价格、时间和对应回执写入日志,日志记录 run/7114d02f 在 journal verify 接口返回 valid: true。
运行 B 也写下了同一时刻的同一价格,日志记录 run/a3e006dd 同样通过 journal verify,返回 valid: true。但 B 的价格来自它自己的笔记,没有对应的查询调用。它的来源类别是 LOGGED BY AGENT,回执只证明 Zambo 收到了这条记录并把它接进日志链。光看日志,复核人无法判断这个准确数字是查来的、从别处抄来的,还是碰巧写对的。作者把这种缺少执行回执支撑的说法称为 bareclaim。
A 也有一项没做完。它试图生成交接记录时,这个网络当天的 1 次免费交接额度已经用完。拒绝本身留下了回执 run/208a030e,已完成的工作仍有记录,交接状态是待完成。作者报出的答案分是 1:1。证据方面,A 完整通过 4 项、部分通过 1 项,B 通过了只涉及自身记录的 2 项。提供的原文没有附上五项检查的完整评分表,无法逐项还原这个分数。
哪些检查可以交给程序
先从报告里提取可核验的主张,再逐条追踪对应的执行回执。作者提出两个适合自动统计的比例:主张支持率看有多少条主张附有执行回执,重算通过率看这些回执有多少能按字节复验。还要核对保存的输出和报告里的说法是否一致。一份有效的回执如果只显示测试命令启动了,就无法支撑「全部测试通过」。
作者还把恢复能力列入评测。具体做法是把记录交给第二个 Agent 或同事,看对方能否只凭记录接手。A 的例子就显示了这个指标的作用:工具结果和日志都在,正式交接仍然待完成,评分需要反映这个状态。
实验使用 Zambo 的 MCP 端点 https://zambo.dev/mcp。按原文所述,该端点提供 153 个工具,默认暴露 37 个,每次调用返回 AER-1 回执。原文给出的免费额度为每种工具每天可免费调用 1 次,另有 3 次 continue 调用、每天 1 次免费收尾交接,pickup 始终免费。作者还列出了当时公开流中的 145,464 份回执和 124,525 次调用,其中 1,886 份回执产生于当天。这些是平台使用数据,实验的评分只涉及文中列出的 4 份回执。
我的判断
把证据分单列出来是对的。两份日志都通过校验,但只有 A 的记录能把价格追溯到一次实时查询。只对最终答案做匹配,会漏掉这类差别。反过来,如果当时 CoinGecko 返回的报价有误,A 的回执也会完整保存那个错误报价。回执能证明调用发生过、保存的结果没有被改动。价格是否正确,还要独立核对来源和时间。
这次是单个任务、两次运行,而且证据留存方式本来就是作者刻意设置的差异。它很好地演示了评分方法如何区分两份记录,但没有给出不同模型长期表现的对照数据,也没有验证这些指标能否预测下一次任务的成功率。作者关于可交接性的判断可以当作经验,扩大到团队评测时还需要实测。对已有 CI 的团队,保存命令、退出码、运行记录和测试报告,通常就足以开始检查「报告是否与输出一致」。要验证记录保存后有没有被改动,则需要相应的完整性校验,普通日志本身给不了这个保证。
能拿来做什么
- 比较两个 AI 编程 Agent 时,用同一个提交、同一条任务指令和同一套工具权限。把执行证据和答案正确性分别打分,事先约定超时和未交接怎么记。
- 让 Agent 在报告里为「构建通过」「接口返回符合预期」这类结论附上对应命令或请求、退出码或状态码,以及能定位输出的记录。
- 在 CI 里先自动校验记录和报告能否对上,再用独立测试检查功能结果。需要交接的任务,可以请另一位同事只看记录,试着复跑关键步骤。