微软探索用历史经验降低编程 Agent 开销
微软研究介绍 TokenEconomizer,探索利用过往经验提高 AI 编程 Agent 的 token 使用效率。文章指出,指令、工具描述和会话历史都会产生开销,优化视角可超出单次任务。
AI 深度解读
同一个仓库每天都在用,AI 编程 Agent 却可能每天重新摸索:测试怎么跑、哪些工具有用、报错之后该换什么办法。TokenEconomizer 想省下的,就是这些重复探索消耗的 token。它读取历史会话,通过一个外置插件指导后续任务,不需要修改 Agent 或底层模型。
作者在 277 个真实修 Bug 任务上测得,平均成本下降 18.4–30.9%,任务成功率总体保持稳定。对长期让 AI 维护同一项目的程序员来说,这个结果值得看,但关键不只是省了多少,而是它怎样筛选经验、何时收回判断,以及学习成本多久才能赚回来。
Agent 的浪费,为什么要跨会话看
单次任务里,一次搜索、一次测试失败都可能有必要。把同一仓库的多次任务放在一起,重复劳动才会露出来。
作者先用 Claude Code 跑了 60 个 SWE-Bench 任务。这些任务来自开源 Python 项目的真实 Bug 修复,同一仓库的任务按顺序执行。他们发现了三类浪费。
第一类是反复查老问题。当仓库已经完成至少五个任务后,30% 的工具调用重复了该仓库之前某个任务的动作;与其他仓库历史动作重合的比例只有 7%。这支持一个方向:值得复用的经验,往往与具体仓库有关。
不过,动作重复不等于动作多余。代码变了,测试就可能需要重跑。这组数据指出了优化空间,没有直接证明那 30% 都能删除。
第二类是工具描述占用上下文。Agent 每轮收到 23 个工具的描述,其中 16 个从未被调用。即使工具不执行,介绍它们的文字也已经进入模型输入。
第三类是失败任务持续烧钱。失败任务占 17%,却消耗了 32% 的费用。问题不只在最后没修好,还在于过程中可能不断尝试同一条走不通的路。
作者还测试了三个采用固定省钱策略的开源插件:它们能在部分仓库降本,却无法在所有仓库奏效。因此,TokenEconomizer 选择根据仓库历史调整策略。
它记住的不是整段聊天,而是可撤回的经验
TokenEconomizer 来自 UC Berkeley、Microsoft Research 和 Microsoft Security。它在每次会话结束后读取日志,更新对仓库的认识,再通过 Agent 已有的接口影响后续任务。
它有三个机制,各自对应一种浪费。

微技能(micro-skills)把仓库特有知识压缩成一行笔记。系统从多次会话里寻找反复出现的模式,经过若干次确认,才把对应笔记放进 Agent 的初始上下文。如果后续证据与笔记冲突,就将它撤下。
这和把历史聊天全部塞回上下文差别很大:保存的是经过筛选的结论,而且结论允许过期。原文没有交代「若干次」的具体阈值,也没有展示笔记生成的完整规则。
工具裁剪(tool pruning)根据历史使用情况,移除当前仓库中不太可能用到的工具,同时始终保留执行命令、编辑文件等核心工具。被移除的工具仍可恢复。
这里有个实际取舍:过去没用过,不代表下个任务用不到。恢复能力因此很关键,但原文没有展开恢复工具的触发条件。
失败循环干预(failure-loop intervention)则观察 Agent 是否反复遭遇同一种失败。一个评判模型负责区分「确实卡住」和「虽然失败,但仍在推进」。判断卡住后,系统给出简短提示,建议换一种方法。
开源插件收到提示后如果仍然卡住,会提醒开发者,而不是自行终止任务。
这套设计值得借鉴的地方,是把经验当成可以修订的判断,而不是永久正确的规则。
省了多少,还要看学习成本和成功率
正式评估覆盖六个仓库的 277 个 SWE-Bench 任务,使用五种 Agent 与模型组合。每个仓库都从没有历史记录的状态开始。
作者报告,平均每任务成本下降 18.4–30.9%;在六个仓库与五种组合构成的全部 30 个配对中,TokenEconomizer 都取得了最好的节省结果,且没有性能损失。五种组合里,有四种的 Pass@1 上升。这里的 Pass@1,可以理解为一次尝试就成功解决任务的比例。

这些节省已经计入 TokenEconomizer 自己调用模型的费用。否则,额外加一个控制器,再只计算被控制 Agent 的开销,结果就不完整了。
作者还比较了降低模型推理强度的做法。后者能节省相近甚至更多费用,但性能明显下降。两条路线的区别在于:一个减少重复探索和无效消耗,另一个直接压缩模型用于推理的投入。
收益也不是第一单就出现。早期任务可能因为学习和控制开销变贵。在 Claude Code 的累计成本实验里,每个受测仓库都最迟在第六个任务时低于默认方案。三个机制单独使用都能省钱,组合使用效果最好。

结果还延伸到了其他任务:连续 Web 开发的 Web-Bench 成本下降 16.0–21.2%;每个任务都进入新仓库的安全审计,成本下降 6.4–19.6%。
安全审计的结果说明,收益并不完全依赖同仓库经验复用。但原文没有拆出该场景下三个机制各自贡献多少,不能据此判断究竟是哪一项起了主要作用。
我的判断
我认同它把优化对象放到了「连续工作过程」上。对于反复维护同一项目的 Agent,测试入口、目录约定、工具选择确实有复用价值。与手工维护仓库说明相比,自动从会话提取经验有机会减少维护负担;与不断追加记忆相比,确认后再加入、出现反证就撤回,也更容易控制上下文膨胀。
但实验结果有边界。主要修 Bug 证据来自六个 Python 仓库,不能直接推定大型前端 monorepo、频繁调整构建系统的项目,也能获得同样的节省比例。「第六个任务回本」是此次 Claude Code 实验的观察,不是插件承诺。
成功率也需要谨慎理解。四种组合的 Pass@1 上升,并不代表它已经普遍提高编码能力;原文没有给出足够信息,让我们判断提升幅度和统计可靠性。
开源插件不需要自己的 API key,学习结果保存在开发者本机,这是接入方式上的便利。但它仍有模型调用成本,不能把「无需单独的 key」理解成「免费运行」。
我更愿意把它看作值得验证的成本控制方案,而不是所有团队都该照搬的配置。
能拿来做什么
- 如果你持续让 Agent 维护同一个前端或 Node 仓库,可以按连续多次任务统计总费用、成功率和人工接手次数,把插件的学习期一起算进去,再判断是否划算。
- 维护仓库说明时,可以借鉴微技能的做法:把反复确认的测试命令、目录约定写成简短说明;构建流程变化后及时删改,避免旧经验持续误导 Agent。
- 检查日常 AI 编程会话中加载了哪些工具,优先验证低频工具能否按需提供,并保留执行命令、编辑文件等核心能力及恢复入口。
- 对反复出现同一种报错的会话,建立提醒和人工接手机制。先确认 Agent 是否还有进展,再决定换路线,避免只凭失败次数打断正常调试。