基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 12:23

用重复全通过率检验 Agent 稳定性

dev.to · AI#Agent#评测#可靠性
Editor brief · 编辑速览

文章区分 pass@k 与 pass^k:前者衡量多次尝试是否至少成功一次,后者衡量同一任务重复执行是否全部成功。单次成功率无法揭示执行波动,实际调用工具的 Agent 还需评估重复运行的一致性。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Agent 在 50 道测试任务里做对 35 道,成功率 70%,够不够上线?原文提醒:单次测试只能说明它这次能不能做对,无法回答同一个任务反复执行时有多稳。作者建议,在 pass@1 之外增加 pass^k,检查同一任务运行 k 次是否全部成功。

这对会调用工具、修改业务数据的 Agent 尤其有用。一次退款成功,并不能保证下一次相同请求也能成功。文章真正想补上的,是评测里经常缺失的重复执行视角。

pass@k 和 pass^k,分别回答什么问题

两个名字很像,关心的却是两件事。

pass@k 问:尝试 k 次,至少成功一次的概率有多大?Chen 等人在 2021 年的 Codex 论文中将它用于代码生成。模型可以生成多份程序,再通过单元测试挑出可用的一份,因此这个指标适合衡量寻找正确答案的能力。

pass^k 问:同一个任务执行 k 次,全部成功的概率有多大?它由 Yao 等人在 2024 年 Sierra 的 τ-bench 论文中引入,关注与用户对话、调用工具的 Agent 能否稳定完成任务。

k 越大,pass@k 越高,pass^k 越低。

有可靠筛选器的多次尝试,可以看 pass@k;每次执行都要交付结果的流程,更该看 pass^k。

例如,编程助手一次给出几份候选代码,由测试或开发者筛选,pass@k 有实际意义。但退款、航班改签这样的操作,每次失败都会影响具体用户,不能靠另一次成功抵消。

61% 的成功率,为什么只剩约 25% 的稳定完成率

τ-bench 让 LLM 扮演用户,与持有业务 API 工具和政策文档的 Agent 对话,包含 τ-retail 和 τ-airline 两个领域。判定成功时,它比较最终数据库状态与标注的目标状态。回答再流畅,数据改错了也不算通过。

原文引用的基准结果是:使用 function calling 的 gpt-4o,在 τ-retail 上的 pass^1 约为 61%,在 τ-airline 上约为 35%;同一模型在 τ-retail 上的 pass^8 则降到约 25%。

这些是原文转述的论文结果,并非作者自行完成的生产测试。它们说明,该配置下约四分之一的任务能通过连续 8 次的检查,不能推导为所有 Agent 都有相同表现。

波动来自多处:模型采样、用户措辞、工具调用顺序、中途超时,以及长对话中遗漏政策细节。论文的失败分析还指向数据库上的复杂推理、临时性政策规则和复合请求,也就是用户在一段对话里同时要求处理多件事。

即使单个任务每次有 90% 的成功率,在各次运行相互独立的假设下,连续 8 次全部成功也只有:

0.9^8 ≈ 43%

这个算式用来解释失败如何累积。实际运行未必独立,也不能直接把整个测试集的平均成功率取八次方,当作实测 pass^8。

怎么把重复执行加入现有评测

先让每个任务执行 n 次,要求 n ≥ k,再统计其中成功的次数 c。原文给出的估计公式是:

pass^k = 各任务 C(c, k) / C(n, k) 的平均值

pass@k = 1 − 各任务 C(n − c, k) / C(n, k) 的平均值

其中 C 表示组合数。第一条公式可以理解为:从已有的 n 次运行中选出 k 次,有多少种选法全部成功。

下面这段原文代码负责计算 pass^k,可以直接接收按任务归档的布尔结果:

from math import comb

def pass_hat_k(results: dict[str, list[bool]], k: int) -> float:
    """results: task_id -> list of n trial outcomes (True = success). Needs n >= k."""
    scores = []
    for trials in results.values():
        n, c = len(trials), sum(trials)
        scores.append(comb(c, k) / comb(n, k))
    return sum(scores) / len(scores)

重点是 scores.append(comb(c, k) / comb(n, k)):它先为每个任务评分,再对任务求平均。调用前还需保证输入非空,并满足 n ≥ k。

pass^1 就是各任务成功率的平均值,所以旧指标可以保留。作者建议每个任务运行例如 n = 8 次,同时报告 pass^1 和 k = 4 或 8 时的 pass^k,并追踪这条曲线在提示词、模型变更后如何变化。

比计算公式更重要的是成功标准。测试应断言订单行、退款记录、工单状态等最终结果,而不是让另一个模型只看对话是否像成功了。

我的判断

我赞成把稳定性单独列出来。一次测试容易掩盖偶发失败,而只看 pass@k,还可能把重试带来的收益误认为每次执行都可靠。

但原文标题中的「计算很便宜」需要限定:公式计算便宜,重复运行 Agent 会增加模型、工具和环境重置成本。作者没有提供成本对照,也没有证明「几十个高质量任务优于几百个模糊任务」或「先修偶发失败」在所有团队里都更划算,这些应视为实践建议。

还有一个评测口径问题:原文既建议重复同一任务,也建议改写措辞、拆分对话、组合请求。前者检查固定输入下的波动,后者还在检查对输入变化的适应能力。可以都做,但要记录变化规则,否则曲线下降后很难定位原因。

pass^k 也不能替代失败严重程度分析。多返回一句无关文本,与错误修改业务数据,即使都被记为失败,处理优先级也可能完全不同。原文没有给出通用上线阈值,团队仍需根据具体操作设定门槛。

能拿来做什么

  • 给现有工具型 Agent 挑选一小组目标状态明确的任务,每题运行 8 次,同时展示 pass^1、pass^4 和 pass^8,观察高平均分下是否藏着明显波动。
  • 在 Node 工具调用流程中,把成功断言落到数据库记录或业务状态;每次试验恢复相同起始条件,避免前一次操作影响下一次结果。
  • 对 AI 编程助手,只有在测试或人工确实会筛选候选结果时,才用 pass@k 衡量多次尝试的收益;涉及自动执行操作时,补上重复执行评测。
  • 单独整理「有时通过」的任务,检查提示词、工具描述和政策处理是否存在歧义,再用同一批任务验证修改是否改善稳定性。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
伪装成项目规范的指令投毒更难识别
下一篇
200 个 MCP 工具先占用约 2.45 万令牌

资讯速览

dev.to · AI · 2026-11-16 12:23

AI 评分 8.0 / 10

相关标签

#Agent#评测#可靠性

继续阅读

  • 端侧视觉模型部署卡在厂商量化资产
  • 伪装成项目规范的指令投毒更难识别
  • 200 个 MCP 工具先占用约 2.45 万令牌
  • 拆解语音 AI 首字延迟,连接复用省近一秒
  • 结构化输出实测:解析可靠但更耗 Token