用历史工具结果回放测试智能体换模
教程逐轮把历史上下文交给新模型,通过回放已记录的工具结果,比较新旧模型在相同上下文中的工具调用。文章提供 Python 示例,并解释这种方法的评估边界。
AI 深度解读
给一个会查订单、发退款的 Agent 换模型,只看最后一句「退款成功」,很容易漏掉中间的变化:新模型可能跳过查单,直接请求退款。原文提出用生产轨迹逐轮回放,把当时的工具结果原样交给候选模型,工具本身一次也不执行。
这套方法叫教师强制回放(teacher-forced replay)。它能把差异定位到具体一轮,让你看清换模型后哪一步变了。读完可以拿走一份 Python 脚本,以及判断这些差异能不能挡住上线的尺度。
为什么换模型要固定每一轮的历史
Agent 每调用一次工具,工具返回的数据就会进入下一轮上下文。直接拿同一条用户请求重跑,第一轮只要选了不同的工具,后面的模型就可能看到不同的数据。到第三轮,即使两边的行为差得很远,你也很难指出差异从哪个决策开始。更具体的麻烦是,重跑时执行 issue_refund,真的会发出一笔退款。
作者区分了两种回放。确定性回放(deterministic replay)把录下来的模型响应交还给 Agent 代码,用于调试过去某次运行。换模型用的回放把模型调用留给候选模型,把工具调用和结果留在录制里。每一轮开始前,旧模型和候选模型看到的是同一段历史,于是可以逐轮比较。
以订单 A-1042 为例,录制轨迹里,原模型第一轮调用 lookup_order,看到订单已经送达、总额为 49.99。第二轮调用 issue_refund,工具返回已退款 49.99。第三轮结束工具调用,给用户答复。如果候选模型第一轮直接选择 issue_refund,这一轮记为漂移。第二轮仍然把录下来的查单结果交给它。第三轮也要评,原模型已经停手,候选模型如果还要调工具,差异就在这一轮被记下来。
一份轨迹要录什么,脚本又在比什么
作者建议采集用户输入、当时提供的工具及其 schema、每次模型调用、工具调用的参数和返回值,并在写盘前清理个人数据。示例用 JSONL,一行是一笔完整运行,包含 tools、settings 和 OpenAI 聊天格式的 messages。请求设置也要带上,例如 tool_choice、parallel_tool_calls 和 response_format。如果生产请求用了 tool_choice: required,回放时漏了它,模型选择直接回答就可能被误算成换模型引入的漂移。示例轨迹用的是 tool_choice: "auto"。
下面这段脚本遍历录制的对话,在每条 assistant 消息处调用一次候选模型,并比较这一轮的工具名。
"""Teacher-forced replay of recorded agent runs against another model.
usage: python replay.py traces.jsonl <new-model>
"""
import json
import sys
from openai import OpenAI
client = OpenAI()
path, new_model = sys.argv[1], sys.argv[2]
def names(tool_calls):
return sorted(call["function"]["name"] for call in tool_calls or [])
for line in open(path):
trace = json.loads(line)
messages = trace["messages"]
round_no = 0
for i, recorded in enumerate(messages):
if recorded["role"] != "assistant":
continue # every recorded assistant message is one round
round_no += 1
reply = client.chat.completions.create(
model=new_model,
messages=messages[:i], # the recorded context, tool results included
tools=trace["tools"],
**trace.get("settings", {}), # tool_choice, parallel_tool_calls, ...
)
replayed = reply.choices[0].message.model_dump()["tool_calls"]
was, now = names(recorded.get("tool_calls")), names(replayed)
verdict = "same" if was == now else "DRIFT"
print(f"{trace['id']} round {round_no}: recorded {was}, new model {now}: {verdict}")
关键是 messages=messages[:i] 这一行。候选模型刚返回的调用只用来打分,下一轮依然从原始轨迹切出上下文。示例里的 refund-a1042 会在第一轮标出 DRIFT,第二、三轮显示 same。这里第三轮的 same 只表示两边都没调工具,答复正文没有参与比较。names() 还会把工具名排序,所以调用顺序、订单号和退款金额的变化都得另外评。跨供应商时,则要先转换消息、工具 schema 和请求设置,原文举的转换库是 LiteLLM。
回放结果怎样接进迁移流程
先让当前生产模型回放自己的录制。相同上下文采样两次,模型也可能给出不同结果。作者把当前模型与自身录制的分歧率当作噪声基线,再看候选模型的分歧有没有超过这个水平。汇报时还要交代样本量。原文用两个例子说明,40 条轨迹里 3 条漂移是 7.5%,但 95% Wilson 区间从 2.6% 到 19.9%。400 条里 12 条漂移是 3%,区间为 1.7% 到 5.2%。这两组数字用来说明估计精度,原文没有把它们当作真实迁移结果。
作者也是 EvalShift 的创始人。按原文描述,它用开源采集 SDK 和 CLI 封装同样的流程。下面这组命令从采集真实运行开始,把每轮和对应工具结果纳入 support_agent 测试集,再比较当前模型和候选模型。
pip install evalshift # the CLI (Python 3.11+); the capture SDK comes with it
evalshift init --provider openai # writes evalshift.yaml; set defaults.source_model to your production model
EVALSHIFT_CAPTURE=1 python agent.py # record real runs
evalshift capture sync --rounds all # promote them into a suite, keeping every round and its tool results
evalshift compare --suite-name support_agent --to <candidate-model>
这里要留意 evalshift capture sync --rounds all,它保留后续逐轮回放需要的完整历史。采集端用 wrap_openai(OpenAI()) 记录模型请求,@capture.tool 记录工具调用,@capture.agent 标记 Agent。设置 EVALSHIFT_CAPTURE=1 才会采集,redact=True 在写入前遮盖邮箱和常见 API key、Bearer Token 模式,业务数据里的个人信息仍需单独处理。
评估端的 tool_selection 比较选了哪些工具,tool_arguments 按 schema 逐字段做精确、数值或相似度匹配。migration_policy 可以用 max_tool_divergence 和 max_tool_argument_drift 给两类差异分别设预算。结果分为 pass、conditional pass、fail 和 inconclusive,最后一种表示样本不足以作决定。用 --policy-gate 时,fail 和 conditional pass 会让命令失败,可以接进 PR 检查。
我的判断
这套方法最适合回答一个窄问题:同一份工具结果摆在面前,换模型会改变哪一步决策? 只比最终文本,退款案例里的跳步就容易漏掉。反过来,固定原模型的历史后,第二轮的 same 也只能说明候选模型看到了查单结果就会请求退款。它自己跳过查单以后会继续错下去,还是会补查,得在用假工具的沙箱里跑完整流程才看得出来。
工具差异也得按业务规则判。跳过必需的查单步骤可以判回归。如果旧模型漏掉了必要步骤,候选模型补上就是修复。对退款金额这种字段,直接核对预期金额比只看工具名更有用。原文给了脚本和退款演示,关于迁移时怎么用仍是经验之谈。文中没有真实迁移的对照数据,也没有展示跨供应商转换后,各家的工具选择约束是否完全等价。
能拿来做什么
- 给 Node Agent 的模型客户端和工具执行入口加轨迹采集,把每轮的请求设置、工具参数和结果一起保存成 JSONL。用一条包含查单、退款和最终答复的用例,先确认回放能覆盖停止调用工具的那一轮。
- 换模型前先跑当前模型的基线,再用同一批轨迹评候选模型。给退款这类写操作单独比对订单号和金额,并把查单是否先于退款写成业务断言。
- 从回放结果里挑出变化明显、且后续处理依赖这一步的用例,在 Node 测试环境里接假工具跑完。让候选模型继续接收自己发出的工具调用所对应的结果,检查它怎么处理失败、补查和停止。