Agent 评测为何需要同一任务反复跑
单次成功无法说明 Agent 的可靠性,应在独立、空白环境中重复执行同一任务,观察成功率和失败模式。比较产品版本时,多轮试验也能帮助区分真实改进与运行波动。
AI 深度解读
Agent 把任务做成一次,只能证明它这次做成了。相同的指令、工具和文档,下一次仍可能走另一条路线、耗时更久,甚至卡在之前顺利通过的步骤。
这篇文章讨论的,就是怎么评估这种不稳定性。作者的结论很明确:同一任务要独立重复执行,但不能把预算全部花在重复上。对接入 AI Agent 的产品团队来说,评测既要回答「能不能做」,也要回答「能否稳定做成」。
temperature 设成零,为什么还要重复跑
一次评测通常只能留下一个结果。任务成功了,过程中可能存在的分岔、偶发失败,以及工具选择的差异,都容易被忽略。
作者引用了 2026 年的研究 On Randomness in Agentic Evals:研究人员在 SWE-bench Verified 上收集了 60,000 条编码 Agent 执行轨迹,每种配置进行了十轮完整评测。不同配置的最高分与最低分相差 2.2 到 6 个百分点,即使底层 LLM 的 temperature 设为零,波动仍然存在。
这组数据能支持「零温度不能保证评测结果一致」,但原文没有进一步拆解波动来源,不能据此断言都是模型采样造成的。
重复试验的要求也很具体:每次使用明确的 Agent 配置,从空环境开始,不继承其他试验的对话历史或中间成果。否则,后一次可能借用了前一次的答案,测到的就不是独立完成任务的能力。
重复运行的价值,既在成功率,也在失败路径。
一个任务成功四次、失败一次,最有用的下一步是比较执行轨迹:它是否找到了不同的文档,换了工具,或者误读了返回结果?这些差异才可能指向文档、工具和错误提示的改进。
pass@k 很高,为什么仍然可能不好用
原文区分了三个容易混用的指标:
- pass@1 衡量一次尝试成功的概率。
- pass@k 衡量最多尝试 k 次,至少成功一次的概率。
- pass^k 衡量 k 次独立尝试全部成功的概率,并在任务之间取平均。
前两个指标来自代码生成研究,OpenAI 的 2021 年 HumanEval 论文完善了相关概率的估计方法。2024 年的 τ-bench 论文引入 pass^k,把关注点进一步推向重复执行的一致性。
它们回答的是不同问题。pass@k 适合观察「多给几次机会能不能找到答案」,pass^k 更接近「这个流程能不能反复放心使用」。
原文引用的 τ-bench 零售场景评测中,GPT-4o 的 function-calling agent 在 pass@1 上达到 61.2%,但 pass^8 低于 25%。后一个数字指的是:跨任务平均后,八次独立试验全部成功的概率不到 25%。
不能把它读成「第八次的成功率不到 25%」,也不能把它当成 GPT-4o 在所有工作流中的通用表现。
对日常 AI 编程也一样:如果你愿意反复重试再挑一个可用结果,pass@k 有参考价值;如果你希望同一流程每次都顺利结束,仅看它就不够了。
该多跑几遍,还是多准备一些任务
作者没有给出适用于所有团队的固定次数。原文提到,OpenAI 在 SWE-bench Verified 上采用平均每任务四次尝试,Anthropic 则采用平均每任务 25 次试验。这里能说明评测设计不同,不能直接推导哪家的结果更可信。
更实际的办法是先小规模试跑,观察波动,再确定预算。结果越不稳定、希望识别的提升越小,或者失败越罕见,通常就越需要重复。
研究中的估算很能说明成本:在其观察到的中位波动水平下,识别两个百分点的提升,每个系统约需九轮完整基准评测;识别一个百分点,则需要 36 轮。前提是每轮包含 500 个任务、统计功效为 80%、显著性阈值为 5%。
这里的九轮和 36 轮,都是完整基准的轮数,不是总共执行九次或 36 次任务。这些估算也不能直接搬成自己项目的采样标准。
预算还有另一个去处:增加任务覆盖。

如果重要工作流或条件尚未覆盖,就应该补任务;如果已有任务覆盖合理,但成功率忽高忽低,就应该增加重复试验。重复到一定程度后,继续围着少量任务打转,带来的信息可能不如加入更多有代表性的任务。
我的判断
我赞同作者把「单次成功」和「重复可靠」分开讨论。尤其在比较工具、文档或错误提示的改动时,一次涨分很容易被误认为改进有效,而重复评测至少能让团队看见正常波动。
但文章更像一套评测设计建议,没有提供作者团队修改文档或工具后的对照结果。「检查轨迹可以帮助定位问题」是合理方法,具体能提高多少成功率,原文没有证据。
pass^k 也需要结合业务理解。k 越大,要求所有试验都成功就越严格;比较系统时必须说明 k,不能脱离次数讨论高低。允许人工挑选候选结果的编码任务,与无人值守的连续工作流,也不该只用同一个指标判断。
先明确用户能接受怎样的失败,再决定用什么指标衡量可靠性。
能拿来做什么
- 评估 Agent 使用你的前端组件库、Node API 或 SDK 时,把典型任务保存为固定用例,每次从干净环境独立执行,并记录配置,避免历史上下文影响比较。
- 比较新旧文档、工具或错误提示时,先重复试跑了解波动,再判断分数变化是否值得继续验证;不要把一两次成功直接归因于改动。
- 同时保留结果和执行轨迹,优先检查「同一任务有时成功、有时失败」的案例,查清文档发现、工具调用和响应理解在哪一步分岔。
- 分配评测预算时,先检查重要工作流是否缺席,再决定增加任务还是增加重复次数;报告中明确写出 pass@1、pass@k 或 pass^k 的定义与 k 值。