Agent 反馈闭环如何避免无效自评
文章区分独立评估、工具结果反馈和人工介入三类机制,强调用明确标准评审输出,并由代码控制迭代与停止。工具应返回可采取行动的结构化错误,评估器则负责判断而非改写。
AI 深度解读
让 AI Agent 再检查一遍自己的答案,不一定能提高质量,还可能把正确答案改错。原文的核心主张是:Agent 能否改进,取决于反馈有没有可靠依据,而不是多调用了几次模型。
对正在用 AI 写代码、接工具、跑自动化任务的开发者,这篇文章值得读的地方,是把反馈拆成了几种不同的工程机制:谁来检查、检查什么、何时阻止执行,以及多花的钱究竟换来了什么。
多问一次「你确定吗」,为什么可能越改越错
原文引用 Huang 等人的研究,讨论「内在自我纠错」:没有外部反馈,只让模型重新审视自己的推理。
结果并不乐观。GPT-3.5 在 CommonSenseQA 上经过一轮自我纠错,准确率从 75.8% 降到 38.1%;GPT-4 在 GSM8K 上经过两轮,准确率从 95.5% 降到 89.0%。模型收到重新考虑的要求后,有时会把原来正确的答案改错。研究者还指出,一些早期的乐观结果实际借助了外部信号,包括预先知道正确答案的信息。
这里要区分两件事:让模型重新想一次,和给它新的检查依据,不是同一种反馈。
测试结果、数据库错误、页面渲染结果、检索到的文档、人工判断,都能提供生成过程之外的参照。相比之下,「再认真检查一下」没有告诉模型哪里出了问题,也没有增加可验证的信息。
生成者不能成为唯一的检查者。
但这不等于换一次模型调用就解决了问题。独立评估器如果仍然只凭感觉打分,也可能缺少可靠依据。分开角色是起点,提供证据才是关键。
四种反馈循环,各自解决什么问题
第一种是自评循环。Anthropic 的 evaluator-optimizer 模式让一次调用负责生成,另一次调用按照明确标准评估,再由普通代码传递草稿和反馈、决定是否继续。评估器只判断,不直接改稿,避免生成和评判职责混在一起。
第二种是工具结果反馈。Agent 调用工具后,本来就会读取结果,再决定下一步。这里的设计重点在工具接口:返回带类型、原因明确的错误,让模型知道该改什么。只返回「失败」帮助有限;指出缺少哪个字段、哪个测试失败、预期值是什么,才便于采取行动。失败如果完全没有传回 Agent,就连修正机会也没有。
第三种是人工介入。原文以 LangChain 的 middleware 为例,在工具调用执行前暂停,允许人批准、修改或拒绝。适合发送消息、删除记录、转账等难以撤回的动作,因为错误重试可能比等待更糟。
第四种是评估驱动循环。它运行在 Agent 外部,用固定任务集、评分器和改动前后对比,验证其他循环是否有效。原文以 OpenAI 的 GuardrailEval 为例。它解决的是另一层问题:单次任务里看似纠正了错误,系统整体是否真的更可靠?
原文称四种循环中只有一种可选,却没有明确指出是哪一种。实际设计时,仍应按任务风险和验证条件决定组合。
检查要多频繁,取决于成本和执行权限
测试、schema 校验、数据库查询等便宜且可验证的检查,可以频繁执行。昂贵的模型评审,更适合放在草稿完成、执行有副作用的动作之前,或 Agent 主动请求审核时。
无论检查多便宜,都要设置最大轮数。无法收敛时,应停止并转交处理,不能无限消耗调用次数和 token。
还要分清循环能改什么。反复修改草稿,和反复重试付款,风险完全不同。原文特别提醒:与 Agent 并发运行的防护检查,可能在动作完成后才返回拒绝结果。
对不可逆操作,授权必须发生在执行之前。
成本也不能藏在「质量更好」后面。原文转述 Anthropic 的一个案例:单个 Agent 制作复古游戏生成器,耗时 20 分钟、花费 $9;完整的 planner、generator、evaluator 系统耗时 6 小时、花费 $200,质量明显更高。
这个案例说明质量提升可能很贵,却没有给出可复用的质量增幅。团队需要用同一批任务比较开启和关闭循环时的准确率、每任务成本与延迟,再决定预算。
我的判断
我赞同把可靠信号排在循环设计前面。对编程任务,测试失败通常比一句「实现不够好」更有用,因为它缩小了修改范围,也提供了再次验证的办法。
不过,研究中的准确率下降来自特定模型、数据集和自我纠错设置,不能直接推广为「所有模型自查都有害」。它更有力地反驳的是:只要让模型反思,就能稳定提升质量。
独立评估器同样有前提。测试可能漏掉需求,检索文档可能过时,页面渲染正常也不代表交互正确。外部信号需要与任务相关,还需要自身可信。
相比再加一层模型评审,补一个明确的校验规则,有时更值得优先做。至于复杂评估系统能否覆盖额外成本,原文没有提供普遍适用的对照数据,仍属于需要团队自行验证的工程取舍。
能拿来做什么
- 给前端或 Node 工具补充可操作的错误信息,明确失败测试、缺失字段和预期结果,让 Agent 根据具体问题修改。
- 为 AI 编程流程设置最大修改轮数,并保留每轮检查结果;达到上限仍未通过时,交给开发者处理。
- 把发送消息、删除数据等动作的授权放到实际调用之前,避免并发检查来不及阻止执行。
- 选一组固定任务,对比有无反馈循环时的成功率、每任务成本和延迟,再决定是否增加模型评审。