先记住这个答案
结果评估在最终输出可客观判定时最有效,如商品分类、信息抽取。过程评估在中间步骤影响最终成败、不可逆操作或需要定位失败原因时必要。关键是风险与可恢复性:若错误中间步可低成本重试,则只看结果;若产生真实副作用,则必须检查每一步。
- 封闭、可判定产物优先结果评估。
- 步骤不可逆或高风险时必须过程评估。
- 混合评估按失败代价与可恢复性折中。
为什么两类评估对应不同风险结构
结果评估的前提是成功状态可判定且错误路径可回退。它把Agent视作黑盒,只看最终输出是否满足显式条件,例如分类标签正确、回答包含关键字段。这使评分成本低、可复现,适合批量回归。
过程评估的必要性来自三类机制:中间决策会永久改变外部状态;早期错误会沿轨迹累积并最终甚至掩盖真实原因;以及工具副作用无法从最终输出反推。此时必须把决策步骤本身纳入打分才能发现风险与定位问题。
一个具体场景:自动发券 Agent
构建一个自动发放优惠券的Agent:输入用户ID,Agent先查用户等级和库存,再调用发券接口。约束是接口为幂等但每天限赠一次;误发无法撤回。若结果评估仅以接口是否返回成功为判据,不核对具体券面值与等级匹配,则可能漏掉中间曾误选了高面额券并已发出。
处理采用分层评估:先做结果断言——最终必须返回成功且券面值与等级匹配;若失败则以过程检查为辅,逐条核对工具调用顺序和参数。对批量回归只跑结果评估以控成本,对每次发券需审计线上副作用时必须持久化轨迹并做过程校验。
何时只看结果会失效,以及代价
当错误步骤不可逆或接近不可逆时,只看结果会掩盖高风险行为。例如删除数据库记录后返回成功,结果看似合格,实际已造成破坏。若外部系统无回滚接口,且评估环境并不完全隔离,就不能用最终状态代表过程安全性。
完全过程评估也有代价:轨迹标注成本随步数上升,且对多路径任务会误杀等效的合法做法。应对方式是设置风险门:仅当任务包含不可逆工具、权限提升、真实资损或外部副作用时强制过程评估,否则默认结果评估,并辅以随机抽样核对关键步骤。
容易答错的地方
- 认为最终成功就代表过程都对
- Agent可能通过危险路径完成任务,例如反复调用删除接口后重建数据导致服务降级。结果评估无法发现此类问题,必须在含不可逆操作的环境中引入轨迹级检查。
- 把所有任务都做全轨迹人工评估
- 对简单封闭任务也逐条人工标注每步工具调用,会造成极大成本且因各步间无绝对唯一正确答案而引入低信噪比。应先判定是否需要过程级保障,再决定评估焦点。
面试官还会怎么问?
什么工具调用算不可逆,必须过程评估?
典型是真实扣款、物理操作、外部发布、删除非幂等资源。若接口支持幂等且可安全重试,则存在恢复余地;若只会执行一次无法撤销,就要强制检查参数与前置状态。
结果评估和过程评估能否共用同一组测试用例?
可以,但需要各自独立的评价维度;结果用例关注最终产物,过程用例关注轨迹决策。同一任务可能会做双评级,例如既判正确率又判工具调用安全。
过程评估发现步骤多但最终成功,应扣分吗?
若多出的是冗余但无害调用,可直接扣效率分;若涉及越权或敏感资源读取,无论最终成功都应视为严重缺陷。以风险等级和操作规范为准,而不是只数步数。
参考资料
示例用于理解所注明的运行环境与边界;延伸学习可结合原文中的更多案例。