基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 16:30

用固定评测决定是否保留智能体改动

dev.to · AI#智能体评测#回归测试#提示词
Editor brief · 编辑速览

RATCHET 在迭代前固定测试与数据,每轮尽量只改提示词、模型或代码中的一项。所有改动用同一标准复测,指标提升就保留,否则回退。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

改了提示词,顺手换了模型,再跑几个熟悉的例子,发现输出更顺眼了。可一旦上线后有人报问题,你很难判断是哪项改动起了作用。RATCHET 给 AI Agent 迭代定了一条规则:先固定测试和评分办法,每次尽量只改一项,得分提高才保留,否则回退。

作者在 OffBall 上拿自动评分和领域专家的排序做过比较,Spearman 等级相关系数是 0.83。这个数字能帮我们看清固定评测的价值,也能帮我们划出它的适用范围。

为什么要在改提示词之前定好评测

RATCHET 把迭代拆成四步:先定义一项可重复执行的质量测试,再单独改一处提示词、换一个模型,或修改一小段 Agent 代码。然后用同一批数据、同一套规则跑出一个分数。新分数高于上一版就保留,持平或下降就回退。作者把最后一步叫作「keep-if-better, else revert」。

顺序很要紧。假设新提示词让多数示例的回答更简洁,却漏掉了某类任务要求。如果看到降分后才删掉这类样本,前后两个分数就失去了可比性。先定好样本和评分规则,才能用这次结果判断改动有没有达到原先的目标。它和代码里的回归测试相似,测的是输出能否满足任务要求。

一次只改一项,才能知道分数为什么变

提示词、模型和工具一起换,分数涨了,也只能说明这套组合在当前测试上得分更高。单独换模型,其他条件照旧,分数变化才更容易归因。下一轮再试提示词,就能留下两笔清楚的记录:改了什么,各自涨了多少分。

这个做法对更换模型供应商尤其直接。旧模型和候选模型跑同一批任务,团队就有了共同的质量比较基准。作者也在 Workflow Studio 里展示了同样的循环:反复运行评测,分数提高后,把对应的运行提升为模板。

OffBall 的 0.83 到底测到了什么

作者在 OffBall 验证的是,自动评分器能否像领域专家一样判断输出质量。他拿两边的排序算 Spearman 等级相关系数,结果是 0.83。可以把它理解成:专家排得靠前的结果,评分器通常也排得比较靠前。原文没有交代样本量、专家人数或专家之间的一致程度。

作者还提到,基于这套评测的白皮书经过三轮审阅,没有发生实质性修改。这是项目里实际发生的结果。原文没有提供冻结评测与其他迭代方式的对照数据,因此能量化的是这次自动排序与专家排序的相关程度。采用 RATCHET 后平均能提升多少质量,仍然是个问号。

我的判断

我认同先冻结评测再动手。一组固定用例可以反复跑,也能在分数变化时回看具体样本,比每轮临时挑几个例子更容易定位回归。人工抽查仍有用,尤其适合评估新场景,以及发现评分规则漏掉的要求。OffBall 先用专家排序校验自动评分,这一步比直接照搬 0.83 更值得学。

「只要高一点就保留」更依赖前提。假如同一个版本重复执行就有分数波动,微小的涨幅可能来自随机性。固定样本也只覆盖已写进去的要求,长期围着同一批题改提示词,可能把已知样本做得越来越好,却看不出对新输入的表现。我的取舍是,同一轮比较用固定规则,先估计重复运行的波动,再决定多大的涨幅算改善。业务要求变了,就给评测做一次明确的版本更新,把旧版和候选版放到新规则下重跑。

能拿来做什么

  • 如果你的 AI 功能负责生成结构化结果,可以先固定一组真实输入,把 JSON 能否解析、必填字段是否齐全、字段值是否符合任务要求纳入评分,再开始改提示词。
  • 如果正准备切换模型供应商,可以用同一提示词和同一批输入比较两个模型,记录各自的总分与失败样本,方便解释为什么保留或回退。
  • 如果评分规则涉及人工判断,可以请熟悉业务的同事先独立给一批输出排序,再跟自动排名对照,检查分歧最大的样本有没有暴露规则漏洞。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
并行工具调用让订单绑错客户
下一篇
计费 API 如何处理智能体超时重试

资讯速览

dev.to · AI · 2026-11-20 16:30

AI 评分 8.0 / 10

相关标签

#智能体评测#回归测试#提示词

继续阅读

  • 移动应用上架前可自动排查常见拒审项
  • 并行工具调用让订单绑错客户
  • 计费 API 如何处理智能体超时重试
  • 用路由白名单安全联调模型回调
  • 用 n8n 给入站消息分类并接入人工兜底