用固定评测决定是否保留智能体改动
RATCHET 在迭代前固定测试与数据,每轮尽量只改提示词、模型或代码中的一项。所有改动用同一标准复测,指标提升就保留,否则回退。
AI 深度解读
改了提示词,顺手换了模型,再跑几个熟悉的例子,发现输出更顺眼了。可一旦上线后有人报问题,你很难判断是哪项改动起了作用。RATCHET 给 AI Agent 迭代定了一条规则:先固定测试和评分办法,每次尽量只改一项,得分提高才保留,否则回退。
作者在 OffBall 上拿自动评分和领域专家的排序做过比较,Spearman 等级相关系数是 0.83。这个数字能帮我们看清固定评测的价值,也能帮我们划出它的适用范围。
为什么要在改提示词之前定好评测
RATCHET 把迭代拆成四步:先定义一项可重复执行的质量测试,再单独改一处提示词、换一个模型,或修改一小段 Agent 代码。然后用同一批数据、同一套规则跑出一个分数。新分数高于上一版就保留,持平或下降就回退。作者把最后一步叫作「keep-if-better, else revert」。
顺序很要紧。假设新提示词让多数示例的回答更简洁,却漏掉了某类任务要求。如果看到降分后才删掉这类样本,前后两个分数就失去了可比性。先定好样本和评分规则,才能用这次结果判断改动有没有达到原先的目标。它和代码里的回归测试相似,测的是输出能否满足任务要求。
一次只改一项,才能知道分数为什么变
提示词、模型和工具一起换,分数涨了,也只能说明这套组合在当前测试上得分更高。单独换模型,其他条件照旧,分数变化才更容易归因。下一轮再试提示词,就能留下两笔清楚的记录:改了什么,各自涨了多少分。
这个做法对更换模型供应商尤其直接。旧模型和候选模型跑同一批任务,团队就有了共同的质量比较基准。作者也在 Workflow Studio 里展示了同样的循环:反复运行评测,分数提高后,把对应的运行提升为模板。
OffBall 的 0.83 到底测到了什么
作者在 OffBall 验证的是,自动评分器能否像领域专家一样判断输出质量。他拿两边的排序算 Spearman 等级相关系数,结果是 0.83。可以把它理解成:专家排得靠前的结果,评分器通常也排得比较靠前。原文没有交代样本量、专家人数或专家之间的一致程度。
作者还提到,基于这套评测的白皮书经过三轮审阅,没有发生实质性修改。这是项目里实际发生的结果。原文没有提供冻结评测与其他迭代方式的对照数据,因此能量化的是这次自动排序与专家排序的相关程度。采用 RATCHET 后平均能提升多少质量,仍然是个问号。
我的判断
我认同先冻结评测再动手。一组固定用例可以反复跑,也能在分数变化时回看具体样本,比每轮临时挑几个例子更容易定位回归。人工抽查仍有用,尤其适合评估新场景,以及发现评分规则漏掉的要求。OffBall 先用专家排序校验自动评分,这一步比直接照搬 0.83 更值得学。
「只要高一点就保留」更依赖前提。假如同一个版本重复执行就有分数波动,微小的涨幅可能来自随机性。固定样本也只覆盖已写进去的要求,长期围着同一批题改提示词,可能把已知样本做得越来越好,却看不出对新输入的表现。我的取舍是,同一轮比较用固定规则,先估计重复运行的波动,再决定多大的涨幅算改善。业务要求变了,就给评测做一次明确的版本更新,把旧版和候选版放到新规则下重跑。
能拿来做什么
- 如果你的 AI 功能负责生成结构化结果,可以先固定一组真实输入,把 JSON 能否解析、必填字段是否齐全、字段值是否符合任务要求纳入评分,再开始改提示词。
- 如果正准备切换模型供应商,可以用同一提示词和同一批输入比较两个模型,记录各自的总分与失败样本,方便解释为什么保留或回退。
- 如果评分规则涉及人工判断,可以请熟悉业务的同事先独立给一批输出排序,再跟自动排名对照,检查分歧最大的样本有没有暴露规则漏洞。