用工具轨迹和最终状态测试智能体
文章建议检查智能体是否按正确顺序调用工具,并核验任务结束后的环境状态。对同一任务重复运行,将通过率作为发布门槛。
AI 深度解读
Agent 测试全绿,未必代表它能稳定办事。同一个提示词可能这次成功、下次失败;回复里写着「预订成功」,环境里也可能根本没有订单。作者主张把验收重心从回答措辞转向行为:工具调用是否正确、步骤是否合理、最终状态是否符合预期。
这份指南值得读的地方,是把测试拆成了可执行的检查:重复运行、分层测试、确定性评分,再主动制造故障。它没有提供团队实测数据,更适合作为设计 Agent 测试体系的方法清单。
一次通过,为什么不足以证明可靠
模型输出具有非确定性,同一任务的一次成功,只能证明这次运行成功。作者援引 LangSmith 和 Anthropic 的观点,建议把每次尝试视为一次试验,多次运行同一任务,统计通过率,并用通过率设置发布门槛。
测试要回答的是成功有多稳定,而不只是有没有成功过。
原文提到两个容易混淆的指标:pass@k 关注 k 次尝试中至少成功一次,适合允许多次尝试、只需拿到一个有效结果的任务;pass^k 关注连续 k 次全部成功,更贴近用户要求每次都能办成的场景。
不过,原文没有规定每个任务跑多少次,也没有给出发布阈值。它还用「首次就达到 100% 的评测更像演示」提醒读者增加难度。这句话不宜机械执行:测试集简单、覆盖不足需要排查,但一次满分本身不能证明测试无效。
怎样判断 Agent 真的办成了事
作者区分了运行记录(transcript)和最终结果(outcome)。前者包括工具调用、中间返回值和执行链路;后者是环境最终处于什么状态。
以退款为例,可以检查 Agent 是否先调用 lookup_order,再调用 issue_refund,传入的 order_id 是否正确。但调用记录正确还不够,还要核验退款是否实际发生。预订场景也一样,回复宣称完成,不能替代真实预订记录。
工具名、参数和必要的先后关系,都可以用确定性规则检查,无须每次找另一个模型打分。至于难以精确判定的部分,再使用带评分标准的 LLM judge 或人工评审,并用人工判断校准模型评分器。
运行记录解释过程,环境状态证明结果,两者都要检查,结果应占更大权重。
测试失败时也要回看运行记录。失败可能来自 Agent,也可能是评分器把合理行为误判了。
测试怎样分层,才能抓住真正危险的失败
作者建议从成本低的测试开始:提示词、工具、记忆先分别检查,再用端到端场景验证多步协作。例如,一次退款请求要走完查询、资格判断和退款操作,最后核验环境状态。
这些测试应先在整理过的数据集上离线运行,再由线上流量监控补充。应用团队需要负责的是指令、工具、检索、护栏和编排,模型内部机制与通用知识不应成为这套应用测试的主要对象。
真正需要投入的是异常路径:
- 两个工具返回矛盾信息时,检查 Agent 能否识别冲突。
- 工具在任务中途失败时,检查它是否妥善处理,而非编造结果或无限重试。
- 在检索内容中植入恶意指令,检查它会不会把网页、评论或工具结果里的内容当成命令。
- 主动突破步骤预算、费用上限和超时限制,验证约束是否实际生效。
原文还列出了 LangSmith、Promptfoo、Braintrust、Langfuse,并提到接入 CI、把生产故障变成回归用例。但这份输入没有展开框架配置、命令或实现代码,无法据此比较它们的能力与接入成本。
我的判断
我认同把工具行为和环境结果放在措辞前面。对于会修改业务状态的 Agent,这比只检查回复文本更接近真实验收。确定性规则也更容易定位问题,适合优先覆盖参数、权限边界和状态变化。
但不能把它简化成「逐条匹配固定调用序列」。如果任务允许多条正确路径,测试应约束必要的依赖关系,否则只是把脆弱的文本匹配换成脆弱的步骤匹配。
这套方法还有一个前提:测试环境必须能观察并核验最终状态。如果只能拿到聊天记录,就需要先补齐工具日志和环境查询能力。原文没有提供误判率、故障检出率或成本对照,因此「便宜的测试能提前抓住多数回归」仍是作者的经验判断,不能直接当作普遍结论。
能拿来做什么
- 给 Node 工具调用层记录工具名、参数、返回值和失败信息,再为关键业务动作增加最终状态断言,让一次失败能追到具体环节。
- 为现有 Agent 的每个重要任务重复运行并报告通过率,根据是否允许重试,选择关注 pass@k 或 pass^k,再制定发布门槛。
- 在 CI 中加入工具失败、返回冲突和检索内容注入用例,并主动触发超时、步骤预算与费用上限,检查是否真正停止执行。
- 把生产中出现的失败整理成离线回归用例;对模型评分器判定失败的样本回看运行记录,确认问题究竟出在 Agent 还是评分规则。