用可验证任务给 Agent 建立回归评测
文章提出三层 Agent 评测方案,节选展示了用可验证任务做回归测试、用评分量表评估开放输出的方法。建议在提示词、模型或工具变更后运行测试,以 JSONL 保存结果,并定期用真实失败案例更新题集。
AI 深度解读
Agent 在三个顺利案例里表现正常,离稳定交付还差一套测试。作者提出的办法是三层评估:已知答案测试守住回归,评分标准检查开放任务,生产监控捕捉上线后的变化。
这套方案值得看的地方,是把「回答看着不错」拆成可核验的结果、质量判断和运行信号。作者称自己的 Agent 系统采用了这套做法,约 200 行 Python 就能搭起基础,但原文没有给出代码、完整评分表或效果对照数据。
有标准答案的任务,先把结果测准
第一层是已知答案测试(Known-answer tests):挑 15–30 个能明确判断对错的任务,形成回归测试集。
作者给出的例子很具体:
- 从 PDF 提取发票总额,断言结果等于 $1,247.00。
- 从 5 个接口中找出存在漏洞的接口,断言返回索引 3。
- 重构一个函数,运行仓库测试,断言全部通过。
这些任务比「帮我总结一下」更适合做第一道检查,因为验收条件可以执行,不需要每次靠人判断。
每次修改提示词、模型或工具,都运行同一套测试;结果存成 JSONL,逐次比较。这样才能发现某次调整虽然改善了一个案例,却破坏了原本正常的行为。
测试集也需要维护,旧案例全过不等于新问题消失。
作者建议每月重新审查:删除 Agent 已经能轻松完成的任务,把真实用户遇到的失败补进来。这能推动测试集贴近实际使用,但哪些旧任务可以删,仍需结合它们承担的回归保护作用判断。
开放任务靠评分,上线行为靠监控
第二层处理没有唯一答案的工作,例如总结或方案生成。作者建议用书面评分标准(Rubric)替代精确匹配,并尽可能盲评,减少评审者知道答案来自 Agent 后产生的偏向。
不过,原文只提出了原则,没有提供评分维度、分值定义或合格样例。读者能拿走的是「先定义怎样才算好」,还不能直接拿到一张可用的评分表。作者认为,即使只有一位评审者,写下标准也比一句「看起来不错」更可靠;这属于经验判断,文中没有对照数据。
第三层是生产遥测(Production telemetry),也就是记录真实运行中的结果与消耗。离线测试覆盖的是预先想到的情况,上线后还会遇到新的输入和工具行为。
作者列出四类检查:
- 按任务类型跟踪成功率,下降超过 5% 时告警。
- 同一工具使用相同参数调用 3 次及以上,终止执行并记录日志。
- 跟踪每个任务的成本和 token 用量,发现提示词膨胀带来的开销。
- 遵守 Verify-before-claim:声称完成某项操作前,必须提供工具证据。
最后一条尤其适合 Agent:工具没给出成功证据,模型就不能只凭自己的判断宣布「已经完成」。
但成功率下降的 5% 究竟指相对降幅还是百分点,原文没说清。统计窗口、最低样本量、合理重试与异常循环如何区分,也需要团队自行补齐。
我的判断
我认可这套分层:可验证的结果先自动测,开放质量用标准评,真实运行再持续观察。它比只看几次演示更容易发现问题,也能帮助团队定位到底是哪一类失败。
但三层评估是一套组织方法,还不是经过数据证明的完整方案。
作者说第一层和第三层可以自己花一个下午搭建,这更像个人项目的投入估计。一般团队真正费时间的,往往是定义成功、准备可靠样本,以及把工具证据与最终结果关联起来。
循环检测也不能机械套用。相同工具和参数重复 3 次可能是卡住,也可能是合理轮询。工具返回成功,同样未必足以证明用户目标已经达成。原文称第三层能看见「自信地答错」的问题,但遥测只有记录了有效证据并能判断结果,才有机会识别它。
另外,作者也在销售 Agent Eval Kit:售价 $17,以 BTC 支付,无需账户;另有包含 20 项检查的免费 Agent Ops Starter Checklist。这些信息说明文章带有产品推广目的,不能把销售描述当作方案有效性的证据。
能拿来做什么
- 给日常 AI 编程准备 15–30 个已知结果的任务,包含函数重构和仓库测试,并在提示词、模型或工具变更后重跑,保存 JSONL 结果。
- 对总结、方案生成等开放任务,先写清验收标准,再评输出;条件允许时隐藏来源,避免因为知道是 Agent 写的而放宽要求。
- 给会调用工具的 Agent 记录工具名、参数、执行结果及每任务成本,结合业务定义重复调用的终止条件。
- 让「已修改」「测试通过」等完成声明附带对应证据,并把线上失败持续补回测试集。