在智能体执行循环中逐步校验工具结果
一次工具调用返回 HTTP 200 和空列表,智能体仍继续执行,直到事后评估才暴露问题。作者借机器人研究中失败分类指标从 32.58% 升至 74.24% 的结果,提出在每步执行后同步判断业务结果。
AI 深度解读
一次工具调用返回 HTTP 200,结果却是空列表。作者回看 Agent 的执行轨迹时发现,第 11 步已经出了问题,后面又花了 4 步收拾残局,直到第 40 步才有人察觉。整轮执行结束后才有评分报告,能帮人复盘,却来不及阻止错误继续传下去。
作者想把专门判断「这一步有没有做对」的评判器(critic)放进请求链路,让 Agent 在下一步开始前拿到判断。这个思路来自一项机器人研究。研究测到了失败分类准确率的提升,逐步接入后能省多少时间和成本,作者还没验证。
HTTP 200 之后,还要判断什么
作者现有的监督器只在同一个工具调用连续失败 3 次时触发。这能抓到反复报错的循环,但有些调用一路返回成功,处理的却是错误对象。在作者自己的执行轨迹里,后者才是实际让他付出成本的故障。
工具返回成功,只能说明调用按接口约定完成了。业务上还要看结果是否符合这一步的目标。比如,抓取工具拿回了页面,还得判断是不是指定的那一页。生成的 SQL 能执行,也还要看查询口径是否符合需求。
评判器放到执行链路里,判断结果就能影响下一步。Agent 可以中止当前步骤、带着提示重试、只把这一步交给更大的模型,或者停下来通知人工。作者给出的工程门槛是,判断要在 1 秒内返回,而且花费要低于被检查的步骤。
74.24% 测到的是哪种能力
AgentRoboCritic 研究的是由前沿模型直接操控机器人的场景,中间没有独立的策略网络。文中给出的数据是,未微调基线的失败模式分类准确率为 32.58%,约有三分之二的判断出错。微调后的 30B 评判器把这个数字提高到了 74.24%。
这个结果说明,在该研究设置下,专门训练能提高模型识别失败类型的准确率。作者据此主张,退款是否正确、SQL 语义是否符合要求、抓取是否命中目标页面,都需要团队按自己的业务定义判断标准。他认为短输入能让 30B 模型快到足以同步检查每一步,但原文没有给出这套接入方案的延迟和成本实测。
识别出故障之后,怎么处理还得单独验证。评判器可以正确指出「抓错页面了」,但带着提示重试能否拿回正确页面,是另一个问题。74.24% 衡量的是分类准确率,作者还没有测过干预质量。
每一步都等评判器,要付出什么代价
假设工具步骤耗时 400ms,评判器再花 300ms,串行下来就是 700ms。原文把批处理、在下一步规划期间异步检查、接受更慢的执行速度都列为选项。异步能少等一会儿,但如果业务要求确认结果后才能继续,检查仍得在下一步执行前完成。
误报也会直接改变 Agent 的行为。作者建议,可以等两次异常判定再中止,或者要求评判器说清楚预期看到什么、实际缺了什么。上线后还要给评判器的提示词和权重做版本管理,并把判定写进执行日志。否则成功率掉下来,很难判断是 Agent 做错了,还是评判器把正确结果拦住了。
作者更想跟踪的指标是「从故障发生到被发现,平均经过多少步」。按轮结束后再出报告,发现故障的步数间隔没有固定上限。他希望把它压到 1 步,目前还没有做出链路内的版本。
我的判断
我认同用发现故障的步数衡量这类改动。对于会把工具输出直接传给下一步的 Agent,提前发现一次错误,才能减少后续无效调用。至于 30B 是否足够便宜、足够快,以及专门训练是否比规则或提示词更合算,原文没有应用侧的对照数据,这部分是作者的经验判断。
前端和 Node 团队可以先看失败条件能否直接写进代码。比如,任务明确要求按 ID 取回一条已知存在的记录,空列表和 ID 不匹配都能用规则当场拦住。SQL 是否符合用户想要的统计口径,则可能需要模型结合原始需求判断。离线回放适合先测误报和漏报,链路内检查的收益要看它能否赶在后续动作之前发现问题。
能拿来做什么
- 在 Node 工具封装里同时记录 HTTP 状态和业务结果。对明确要求命中特定对象的调用,在返回给 Agent 前校验对象 ID 和预期结果是否存在。
- 用已有执行轨迹回放「成功但做错」的步骤,单独记录故障发生和首次发现的步号,并统计本来正确却被拦下的次数。
- 给需要语义判断的步骤试接评判器,分别记录分类结果和干预后的实际结果。重试、升级到更大的模型或转人工,各自都要看有没有解决原问题。