用重复全通过率检验 Agent 稳定性
文章区分 pass@k 与 pass^k:前者衡量多次尝试是否至少成功一次,后者衡量同一任务重复执行是否全部成功。单次成功率无法揭示执行波动,实际调用工具的 Agent 还需评估重复运行的一致性。
AI 深度解读
Agent 在 50 道测试任务里做对 35 道,成功率 70%,够不够上线?原文提醒:单次测试只能说明它这次能不能做对,无法回答同一个任务反复执行时有多稳。作者建议,在 pass@1 之外增加 pass^k,检查同一任务运行 k 次是否全部成功。
这对会调用工具、修改业务数据的 Agent 尤其有用。一次退款成功,并不能保证下一次相同请求也能成功。文章真正想补上的,是评测里经常缺失的重复执行视角。
pass@k 和 pass^k,分别回答什么问题
两个名字很像,关心的却是两件事。
pass@k 问:尝试 k 次,至少成功一次的概率有多大?Chen 等人在 2021 年的 Codex 论文中将它用于代码生成。模型可以生成多份程序,再通过单元测试挑出可用的一份,因此这个指标适合衡量寻找正确答案的能力。
pass^k 问:同一个任务执行 k 次,全部成功的概率有多大?它由 Yao 等人在 2024 年 Sierra 的 τ-bench 论文中引入,关注与用户对话、调用工具的 Agent 能否稳定完成任务。
k 越大,pass@k 越高,pass^k 越低。
有可靠筛选器的多次尝试,可以看 pass@k;每次执行都要交付结果的流程,更该看 pass^k。
例如,编程助手一次给出几份候选代码,由测试或开发者筛选,pass@k 有实际意义。但退款、航班改签这样的操作,每次失败都会影响具体用户,不能靠另一次成功抵消。
61% 的成功率,为什么只剩约 25% 的稳定完成率
τ-bench 让 LLM 扮演用户,与持有业务 API 工具和政策文档的 Agent 对话,包含 τ-retail 和 τ-airline 两个领域。判定成功时,它比较最终数据库状态与标注的目标状态。回答再流畅,数据改错了也不算通过。
原文引用的基准结果是:使用 function calling 的 gpt-4o,在 τ-retail 上的 pass^1 约为 61%,在 τ-airline 上约为 35%;同一模型在 τ-retail 上的 pass^8 则降到约 25%。
这些是原文转述的论文结果,并非作者自行完成的生产测试。它们说明,该配置下约四分之一的任务能通过连续 8 次的检查,不能推导为所有 Agent 都有相同表现。
波动来自多处:模型采样、用户措辞、工具调用顺序、中途超时,以及长对话中遗漏政策细节。论文的失败分析还指向数据库上的复杂推理、临时性政策规则和复合请求,也就是用户在一段对话里同时要求处理多件事。
即使单个任务每次有 90% 的成功率,在各次运行相互独立的假设下,连续 8 次全部成功也只有:
0.9^8 ≈ 43%
这个算式用来解释失败如何累积。实际运行未必独立,也不能直接把整个测试集的平均成功率取八次方,当作实测 pass^8。
怎么把重复执行加入现有评测
先让每个任务执行 n 次,要求 n ≥ k,再统计其中成功的次数 c。原文给出的估计公式是:
pass^k = 各任务 C(c, k) / C(n, k) 的平均值
pass@k = 1 − 各任务 C(n − c, k) / C(n, k) 的平均值
其中 C 表示组合数。第一条公式可以理解为:从已有的 n 次运行中选出 k 次,有多少种选法全部成功。
下面这段原文代码负责计算 pass^k,可以直接接收按任务归档的布尔结果:
from math import comb
def pass_hat_k(results: dict[str, list[bool]], k: int) -> float:
"""results: task_id -> list of n trial outcomes (True = success). Needs n >= k."""
scores = []
for trials in results.values():
n, c = len(trials), sum(trials)
scores.append(comb(c, k) / comb(n, k))
return sum(scores) / len(scores)
重点是 scores.append(comb(c, k) / comb(n, k)):它先为每个任务评分,再对任务求平均。调用前还需保证输入非空,并满足 n ≥ k。
pass^1 就是各任务成功率的平均值,所以旧指标可以保留。作者建议每个任务运行例如 n = 8 次,同时报告 pass^1 和 k = 4 或 8 时的 pass^k,并追踪这条曲线在提示词、模型变更后如何变化。
比计算公式更重要的是成功标准。测试应断言订单行、退款记录、工单状态等最终结果,而不是让另一个模型只看对话是否像成功了。
我的判断
我赞成把稳定性单独列出来。一次测试容易掩盖偶发失败,而只看 pass@k,还可能把重试带来的收益误认为每次执行都可靠。
但原文标题中的「计算很便宜」需要限定:公式计算便宜,重复运行 Agent 会增加模型、工具和环境重置成本。作者没有提供成本对照,也没有证明「几十个高质量任务优于几百个模糊任务」或「先修偶发失败」在所有团队里都更划算,这些应视为实践建议。
还有一个评测口径问题:原文既建议重复同一任务,也建议改写措辞、拆分对话、组合请求。前者检查固定输入下的波动,后者还在检查对输入变化的适应能力。可以都做,但要记录变化规则,否则曲线下降后很难定位原因。
pass^k 也不能替代失败严重程度分析。多返回一句无关文本,与错误修改业务数据,即使都被记为失败,处理优先级也可能完全不同。原文没有给出通用上线阈值,团队仍需根据具体操作设定门槛。
能拿来做什么
- 给现有工具型 Agent 挑选一小组目标状态明确的任务,每题运行 8 次,同时展示 pass^1、pass^4 和 pass^8,观察高平均分下是否藏着明显波动。
- 在 Node 工具调用流程中,把成功断言落到数据库记录或业务状态;每次试验恢复相同起始条件,避免前一次操作影响下一次结果。
- 对 AI 编程助手,只有在测试或人工确实会筛选候选结果时,才用 pass@k 衡量多次尝试的收益;涉及自动执行操作时,补上重复执行评测。
- 单独整理「有时通过」的任务,检查提示词、工具描述和政策处理是否存在歧义,再用同一批任务验证修改是否改善稳定性。