基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 15:52

用离线回放复核 Agent 测试结果

dev.to · AI#Agent#测试回放#可复现
Editor brief · 编辑速览

文章展示如何预先固定测试计划、保存模型原始回复及用量耗时,并以确定性请求流重建状态。作者称仓库脚本无需模型或 API 密钥,约三秒即可回放并核对 4000 步记录。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Agent 测试跑出一个漂亮数字后,别人怎样核验?重新调用模型,既要付费,也可能拿到不同回答。作者给出的办法是:保存原始回复,让任何人都能在没有 API key、没有模型的情况下,用约 3 秒重算测试结果。

关键不是让模型再次给出相同答案,而是让已经发生的那次测试可以被检查。这套做法把实验计划、请求生成、回复存档和状态重建串了起来,但它证明的范围,也需要划清。

先写判定规则,再保存每一步的证据

原文介绍的是 AXI 仓库的一套测试流程。AXI 是 Rajnish Choubey 设计的宿主侧层,测试由 Shalendra Gaur 构建并运行。文章没有展开 AXI 的具体机制,重点在于测试结果如何交给别人核验。

他们先写下预测和结果判读规则,在发起任何调用之前,用哈希锁定。这样做是为了约束事后调整口径:不能看到结果后,再悄悄改掉原先的判断标准。

不过,哈希能帮助检查内容是否变化;它如何证明锁定发生在调用之前,原文没有交代具体流程。

接下来,每次模型回复一到,就保存模型的完整原文、token 数和耗时,而且存到发起调用的会话之外。测试结束后,核验者拿到的不只是汇总数字,还能沿着逐步记录检查计算过程。

可核验的起点,是保留原始回复,而不只是保存最终分数。

约 3 秒复算,究竟检查了什么

仅有回复还不够。要重建测试过程,还得知道每一步原本发出了什么请求。

作者让请求流具有确定性:同一个随机种子(seed)生成相同的请求序列。回放脚本据此逐步读取已保存的回复,重新计算每一步维护的状态。只要某个标志位与保存的记录不同,脚本就报错停止。

这里有两个不同层面的「确定」:请求序列可以固定,状态计算可以重复;模型下一次回答什么,并没有因此固定。

使用 Python 3,不需要 API key,就可以执行下面的回放命令:

git clone https://github.com/gaurshalendra2412/axi-runtime
cd axi-runtime/python
python3 quickstart_replay.py

要看的是最后一行:运行的是 quickstart_replay.py,它重放已有记录,不会重新向模型索要答案。

作者报告,脚本约 3 秒会输出这些结果:

  • 在全部 4,000 步中,维护的状态有 4,000 步完全正确。
  • 在 4,000 次模型回复中,有 3,954 次与理想回复完全一致。
  • 对前 400 个请求进行四方比较,并检查输出是否与已公布数字相符。

前两个数字衡量的对象不同。状态全部正确,不能直接写成模型回答全部正确。至于四方比较具体比较谁、理想回复如何定义,原文没有说清,需要进一步查看仓库材料。

我的判断

我认可这套流程对核验成本的处理:把需要付费的模型调用,与可以离线重算的状态逻辑分开。读者不用先准备 key,就能检查公布数字是否能从记录中算出来,也更容易定位有争议的步骤。

但作者也明确承认:回放验证的是这次测试的计算与逻辑,不是模型再次作答的稳定性。

每组测试都只有一次采样运行。4,000 步状态正确,支持的是这份记录中的结果;它不足以证明换一轮采样、换一批请求,仍然表现相同。约 3 秒也是作者报告的运行时间,原文没有给出硬件条件。

和重新调用模型相比,回放便宜、方便定位状态逻辑问题;重新调用则能检查新采样下的表现。两者回答不同问题,不能互相替代。另外,没有对照数据,就不能据此推导 AXI 比其他方案更省钱或更可靠。

能拿来做什么

  • 给 Node Agent 做回归检查时,可以保存每步模型回复和请求生成所需的 seed,让状态处理逻辑在离线记录上重复运行,先定位解析与状态更新的问题。
  • 团队发布 Agent 测试结果时,可以一并提供原始回复、判定规则和回放入口,让同事能从逐步记录重算汇总数字。
  • 升级提示词或模型后,应重新采样测试;已有回放记录可以继续用于检查代码改动,但不能充当新模型的效果证据。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
会议转任务,先在数据契约中设置核验关
下一篇
Python 网关实战:逐层压低大模型调用费

资讯速览

dev.to · AI · 2026-11-16 15:52

AI 评分 8.0 / 10

相关标签

#Agent#测试回放#可复现

继续阅读

  • 用 Cognito 为 Agent 换取受限访问令牌
  • 会议转任务,先在数据契约中设置核验关
  • Python 网关实战:逐层压低大模型调用费
  • 固定探针可能让模型 API 验真失效
  • LLM 后端评测:先查评分器,再改提示词