用离线回放复核 Agent 测试结果
文章展示如何预先固定测试计划、保存模型原始回复及用量耗时,并以确定性请求流重建状态。作者称仓库脚本无需模型或 API 密钥,约三秒即可回放并核对 4000 步记录。
AI 深度解读
Agent 测试跑出一个漂亮数字后,别人怎样核验?重新调用模型,既要付费,也可能拿到不同回答。作者给出的办法是:保存原始回复,让任何人都能在没有 API key、没有模型的情况下,用约 3 秒重算测试结果。
关键不是让模型再次给出相同答案,而是让已经发生的那次测试可以被检查。这套做法把实验计划、请求生成、回复存档和状态重建串了起来,但它证明的范围,也需要划清。
先写判定规则,再保存每一步的证据
原文介绍的是 AXI 仓库的一套测试流程。AXI 是 Rajnish Choubey 设计的宿主侧层,测试由 Shalendra Gaur 构建并运行。文章没有展开 AXI 的具体机制,重点在于测试结果如何交给别人核验。
他们先写下预测和结果判读规则,在发起任何调用之前,用哈希锁定。这样做是为了约束事后调整口径:不能看到结果后,再悄悄改掉原先的判断标准。
不过,哈希能帮助检查内容是否变化;它如何证明锁定发生在调用之前,原文没有交代具体流程。
接下来,每次模型回复一到,就保存模型的完整原文、token 数和耗时,而且存到发起调用的会话之外。测试结束后,核验者拿到的不只是汇总数字,还能沿着逐步记录检查计算过程。
可核验的起点,是保留原始回复,而不只是保存最终分数。
约 3 秒复算,究竟检查了什么
仅有回复还不够。要重建测试过程,还得知道每一步原本发出了什么请求。
作者让请求流具有确定性:同一个随机种子(seed)生成相同的请求序列。回放脚本据此逐步读取已保存的回复,重新计算每一步维护的状态。只要某个标志位与保存的记录不同,脚本就报错停止。
这里有两个不同层面的「确定」:请求序列可以固定,状态计算可以重复;模型下一次回答什么,并没有因此固定。
使用 Python 3,不需要 API key,就可以执行下面的回放命令:
git clone https://github.com/gaurshalendra2412/axi-runtime
cd axi-runtime/python
python3 quickstart_replay.py
要看的是最后一行:运行的是 quickstart_replay.py,它重放已有记录,不会重新向模型索要答案。
作者报告,脚本约 3 秒会输出这些结果:
- 在全部 4,000 步中,维护的状态有 4,000 步完全正确。
- 在 4,000 次模型回复中,有 3,954 次与理想回复完全一致。
- 对前 400 个请求进行四方比较,并检查输出是否与已公布数字相符。
前两个数字衡量的对象不同。状态全部正确,不能直接写成模型回答全部正确。至于四方比较具体比较谁、理想回复如何定义,原文没有说清,需要进一步查看仓库材料。
我的判断
我认可这套流程对核验成本的处理:把需要付费的模型调用,与可以离线重算的状态逻辑分开。读者不用先准备 key,就能检查公布数字是否能从记录中算出来,也更容易定位有争议的步骤。
但作者也明确承认:回放验证的是这次测试的计算与逻辑,不是模型再次作答的稳定性。
每组测试都只有一次采样运行。4,000 步状态正确,支持的是这份记录中的结果;它不足以证明换一轮采样、换一批请求,仍然表现相同。约 3 秒也是作者报告的运行时间,原文没有给出硬件条件。
和重新调用模型相比,回放便宜、方便定位状态逻辑问题;重新调用则能检查新采样下的表现。两者回答不同问题,不能互相替代。另外,没有对照数据,就不能据此推导 AXI 比其他方案更省钱或更可靠。
能拿来做什么
- 给 Node Agent 做回归检查时,可以保存每步模型回复和请求生成所需的 seed,让状态处理逻辑在离线记录上重复运行,先定位解析与状态更新的问题。
- 团队发布 Agent 测试结果时,可以一并提供原始回复、判定规则和回放入口,让同事能从逐步记录重算汇总数字。
- 升级提示词或模型后,应重新采样测试;已有回放记录可以继续用于检查代码改动,但不能充当新模型的效果证据。