基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 01:54

Agent 评测为何需要同一任务反复跑

dev.to · AI#Agent#评测#可靠性
Editor brief · 编辑速览

单次成功无法说明 Agent 的可靠性,应在独立、空白环境中重复执行同一任务,观察成功率和失败模式。比较产品版本时,多轮试验也能帮助区分真实改进与运行波动。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Agent 把任务做成一次,只能证明它这次做成了。相同的指令、工具和文档,下一次仍可能走另一条路线、耗时更久,甚至卡在之前顺利通过的步骤。

这篇文章讨论的,就是怎么评估这种不稳定性。作者的结论很明确:同一任务要独立重复执行,但不能把预算全部花在重复上。对接入 AI Agent 的产品团队来说,评测既要回答「能不能做」,也要回答「能否稳定做成」。

temperature 设成零,为什么还要重复跑

一次评测通常只能留下一个结果。任务成功了,过程中可能存在的分岔、偶发失败,以及工具选择的差异,都容易被忽略。

作者引用了 2026 年的研究 On Randomness in Agentic Evals:研究人员在 SWE-bench Verified 上收集了 60,000 条编码 Agent 执行轨迹,每种配置进行了十轮完整评测。不同配置的最高分与最低分相差 2.2 到 6 个百分点,即使底层 LLM 的 temperature 设为零,波动仍然存在。

这组数据能支持「零温度不能保证评测结果一致」,但原文没有进一步拆解波动来源,不能据此断言都是模型采样造成的。

重复试验的要求也很具体:每次使用明确的 Agent 配置,从空环境开始,不继承其他试验的对话历史或中间成果。否则,后一次可能借用了前一次的答案,测到的就不是独立完成任务的能力。

重复运行的价值,既在成功率,也在失败路径。

一个任务成功四次、失败一次,最有用的下一步是比较执行轨迹:它是否找到了不同的文档,换了工具,或者误读了返回结果?这些差异才可能指向文档、工具和错误提示的改进。

pass@k 很高,为什么仍然可能不好用

原文区分了三个容易混用的指标:

  • pass@1 衡量一次尝试成功的概率。
  • pass@k 衡量最多尝试 k 次,至少成功一次的概率。
  • pass^k 衡量 k 次独立尝试全部成功的概率,并在任务之间取平均。

前两个指标来自代码生成研究,OpenAI 的 2021 年 HumanEval 论文完善了相关概率的估计方法。2024 年的 τ-bench 论文引入 pass^k,把关注点进一步推向重复执行的一致性。

它们回答的是不同问题。pass@k 适合观察「多给几次机会能不能找到答案」,pass^k 更接近「这个流程能不能反复放心使用」。

原文引用的 τ-bench 零售场景评测中,GPT-4o 的 function-calling agent 在 pass@1 上达到 61.2%,但 pass^8 低于 25%。后一个数字指的是:跨任务平均后,八次独立试验全部成功的概率不到 25%。

不能把它读成「第八次的成功率不到 25%」,也不能把它当成 GPT-4o 在所有工作流中的通用表现。

对日常 AI 编程也一样:如果你愿意反复重试再挑一个可用结果,pass@k 有参考价值;如果你希望同一流程每次都顺利结束,仅看它就不够了。

该多跑几遍,还是多准备一些任务

作者没有给出适用于所有团队的固定次数。原文提到,OpenAI 在 SWE-bench Verified 上采用平均每任务四次尝试,Anthropic 则采用平均每任务 25 次试验。这里能说明评测设计不同,不能直接推导哪家的结果更可信。

更实际的办法是先小规模试跑,观察波动,再确定预算。结果越不稳定、希望识别的提升越小,或者失败越罕见,通常就越需要重复。

研究中的估算很能说明成本:在其观察到的中位波动水平下,识别两个百分点的提升,每个系统约需九轮完整基准评测;识别一个百分点,则需要 36 轮。前提是每轮包含 500 个任务、统计功效为 80%、显著性阈值为 5%。

这里的九轮和 36 轮,都是完整基准的轮数,不是总共执行九次或 36 次任务。这些估算也不能直接搬成自己项目的采样标准。

预算还有另一个去处:增加任务覆盖。

AI Agent 评测中增加任务与增加试验次数的取舍

如果重要工作流或条件尚未覆盖,就应该补任务;如果已有任务覆盖合理,但成功率忽高忽低,就应该增加重复试验。重复到一定程度后,继续围着少量任务打转,带来的信息可能不如加入更多有代表性的任务。

我的判断

我赞同作者把「单次成功」和「重复可靠」分开讨论。尤其在比较工具、文档或错误提示的改动时,一次涨分很容易被误认为改进有效,而重复评测至少能让团队看见正常波动。

但文章更像一套评测设计建议,没有提供作者团队修改文档或工具后的对照结果。「检查轨迹可以帮助定位问题」是合理方法,具体能提高多少成功率,原文没有证据。

pass^k 也需要结合业务理解。k 越大,要求所有试验都成功就越严格;比较系统时必须说明 k,不能脱离次数讨论高低。允许人工挑选候选结果的编码任务,与无人值守的连续工作流,也不该只用同一个指标判断。

先明确用户能接受怎样的失败,再决定用什么指标衡量可靠性。

能拿来做什么

  • 评估 Agent 使用你的前端组件库、Node API 或 SDK 时,把典型任务保存为固定用例,每次从干净环境独立执行,并记录配置,避免历史上下文影响比较。
  • 比较新旧文档、工具或错误提示时,先重复试跑了解波动,再判断分数变化是否值得继续验证;不要把一两次成功直接归因于改动。
  • 同时保留结果和执行轨迹,优先检查「同一任务有时成功、有时失败」的案例,查清文档发现、工具调用和响应理解在哪一步分岔。
  • 分配评测预算时,先检查重要工作流是否缺席,再决定增加任务还是增加重复次数;报告中明确写出 pass@1、pass@k 或 pass^k 的定义与 k 值。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
租 GPU 微调:填充计算如何烧掉预算
下一篇
Perplexity 推出多模型路由与故障切换接口

资讯速览

dev.to · AI · 2026-11-20 01:54

AI 评分 8.0 / 10

相关标签

#Agent#评测#可靠性

继续阅读

  • 用 Claude Task Master 自动推进 PR
  • 租 GPU 微调:填充计算如何烧掉预算
  • Perplexity 推出多模型路由与故障切换接口
  • 用 Tunix 与 Gemma 4 训练多轮工具智能体
  • 用 Docker 搭建自托管 AI 聊天助手