智能体自改记忆提示词提分,蒸馏后回落
Meta FAIR 让智能体在任务中反复优化文件记忆的读写提示词,持续学习基准得分从人工方案的 44.6 提升到 56.0。将同一行为蒸馏进模型权重后,得分降至 43.1。
AI 深度解读
Meta FAIR 让模型自己改写记忆管理提示词,在 Continual Learning Bench 上把平均分从人工版的 44.6 提到 56.0。可把同一套行为蒸馏进模型权重后,分数又掉到 43.1,低于人工版。
这组结果和用 AI 修代码的日常工作很接近。任务一长,什么时候读回排查线索、什么时候把中间结论写回文件,都可能影响后续判断。Meta 的实验给出了一种测这些规则的方法,也暴露了把规则迁进权重的代价。
模型怎么找到更好的记忆规则?
Self-Improving Memory 把记忆放在文件里,由提示词指导两种操作。LOAD 把当前需要的信息读进上下文,OFFLOAD 把暂时用不到的信息写回文件。比如,修复一个跨模块的 bug 时,代理可以把已排除的原因和验证结果写回文件,等排查再次涉及那个模块时再读回来。
负责改提示词的元代理和负责做任务的代理都使用 Kimi-K2.6。它是一个总参数量 1T、激活参数 32B 的混合专家模型(MoE),上下文窗口为 256K。元代理反复生成新版记忆提示词,让任务代理拿去跑任务,再按分数筛选。44 次改写中,有 37 次没能超过当时的最高分。复现这套方法时,跑完这些没带来进步的版本,也要算进评测预算。
为什么修代码这一项涨得最多?
Continual Learning Bench 测了三类任务。Database 要执行 SQL 查询,Codebase 要修复仓库里的 bug,Spectrum 要扫描无线电频谱。测试子任务刻意设置了阶段切换,用来观察任务条件变动后,代理能否把记忆策略用到同类新任务上。
优化后的提示词在三项都赢过人工版,平均高 11.4 分。Codebase 的增幅最大,得分 64.3,高了 20.6 分。原文把这个结果归因于修 bug 的长链路。一条线索可能在读代码时出现,到验证修改时才派上用场。读回时机不对,代理可能重复排查,也可能漏掉先前确认的约束。这个解释符合任务特点,但原文没给出逐条规则的消融结果,无法判断是哪条改写贡献了最多分数。
把行为蒸馏进权重后,还剩多少收益?
第二阶段用优化版提示词跑出的操作轨迹做监督微调(SFT),在注意力投影层加上秩为 64 的 LoRA 适配器,目标是让模型在脱离这份提示词后仍能复现记忆管理行为。
蒸馏版在 10 个配对随机种子上的平均分为 43.1,比提示词版低 12.9 分,也低于人工版的 44.6。用通用轨迹做 SFT 的基线只有 37.6,说明优化轨迹对这次微调有帮助。至于掉掉的 12.9 分来自哪里,原文没有拆开验证。仅凭分数,无法区分是训练轨迹覆盖有限、LoRA 配置受限,还是模型缺少了运行时的规则提醒。
我的判断
对一般团队,先把记忆规则留在提示词里,更容易迭代。比如和一味加长上下文相比,文件记忆让团队能检查代理存了什么、后来又读回了什么,但也多了读写时机和内容选择需要调试。原文没有给出两种做法在相同预算下的对照,因此回答不了哪种更省 token,也回答不了哪种在真实仓库里更可靠。
分数来自 Meta 自己的博客和论文图 4、图 5,原文没有给出独立复现。评测里的阶段切换是预先设计的,线上长跑代理面对的任务变化更杂。把 20.6 分直接当成自家代码代理的预期收益,依据还不够。原样复现的门槛也高,原文引用的一份部署指南建议从 8 张 H200 起步。小团队可以先借用筛选规则的方法,再用自己的任务判断收益。
能拿来做什么
- 从前端或 Node 仓库里挑几条需要跨文件排查、运行测试再回看线索的任务,先记录现有代理的修复结果,作为比较基线。
- 给代理明确的
OFFLOAD和LOAD规则。切换排查方向前写下已验证的事实、相关文件和待确认的问题,回到相关模块时按需读回。 - 固定模型、工具和任务预算,逐版比较记忆提示词。除了检查修复是否通过测试,也记录代理有没有重复排查,再用未参与调优的任务复测选出的版本。