IBM 用经验规则提升 Agent 多次执行可靠性

IBM Research 在 Hugging Face 博客上发布了 ALTK-Evolve 的实验结果，文章日期为 2026 年 10 月 20 日。这种方法从 Agent 之前的尝试中提炼出简短的行为规则，并将它们追加到 system prompt 中。它不需要更新模型权重，也不需要人工标注。作者报告称，一个基于 GPT-4.1 的普通 ReAct Agent，在 τ²-bench 的零售赛道上取得了 67.5% 的 Pass^4，超过了其 2026 年 10 月 12 日排行榜快照中的所有零售参赛条目。

Sierra 推出的 τ²-bench 为 Agent 配备了一位模拟客户、一组工具和一份书面政策。只有最终数据库状态与预期结果一致，任务才算完成。Pass^4 表示 Agent 在全部四次尝试中都成功完成了同一任务，因此衡量的是可靠性，而非平均成功率。在这套实验配置中，Agent 和规则提炼均由 GPT-4.1 驱动，GPT-5.5 则扮演客户。

学习得到的规则都是纯文本。例如，在执行任何订单操作前先核实身份；在修改数据库前获得明确批准；主动提供逐项列明的退款明细，无须客户提出要求。

在留出的零售任务集（40 个任务）上，使用完整的 292 条规则后，Pass^4 从 57.5% 提升至 67.5%。在航空任务集（20 个任务）上，规模更小、仅含 14 条规则的核心规则集，将 Pass^4 从 35.0% 提升至 45.0%；完整的 101 条规则则取得了 40.0% 的成绩。作者据此认为，合适的指导量取决于具体领域。

在完整的 base 划分上，零售成绩领先于 RAFT-30B-A3B 的 61.4%；后者是一个使用合成零售数据微调的模型。在航空赛道上，GPT-4.1 搭配精简规则集取得了 44% 的成绩，在排行榜上位列第八。换成 GPT-5.5 后，成绩达到 82.0%，而榜单中列出的前沿模型参赛条目成绩为 66–72%。

这些规则会增加每次调用的输入 token 数。使用完整规则集后，零售场景每次对话的成本从 $0.084 上升至 $0.139，增幅为 65%。包含 31 条规则的核心规则集，每次对话成本为 $0.095。航空场景的成本则从 $0.081 上升至使用核心规则集时的 $0.097，以及使用完整规则集时的 $0.107。对于使用规则和不使用规则都能成功完成的任务，对话反而略有缩短。作者还补充说，在生产环境中，相同的规则文本块应该可以通过 prompt caching 大幅抵消这部分额外成本，但他们并未对此进行测量。

这些数据均由 IBM 自行报告。留出任务集规模较小，只有 40 个零售任务和 20 个航空任务，客户也是模拟的。博文提供了 ALTK-Evolve 库和两个排行榜 pull request，读者可以自行查看。

如果需要采取进一步行动，你可以考虑屏蔽此人和／或举报滥用行为。