Meta 让模型自编记忆提示并蒸馏入权重
Meta FAIR 的自改进记忆方法让 Kimi-K2.6 自行编写 LOAD 和 OFFLOAD 记忆提示,再将其蒸馏进模型权重。报道给出的持续学习基准得分为 56.0,高于最佳人工编写框架的 44.6。
AI 深度解读
AI 编程助手能读完整个仓库,不代表它知道下一次该记住什么。Meta FAIR 的 Self-Improving Memory 把问题拆成两步:先让模型搜索更有效的记忆指令,再把这些做法训练进模型权重。参与研究的还有华盛顿大学和约翰斯·霍普金斯大学的研究者。
结果里最值得看的,是仓库修复任务从人工最佳方案的 43.7 分升到 64.3 分。但标题里的平均分 56.0 属于优化提示词的成绩,蒸馏后的平均分是 43.1。两者解决的问题不同,不能混着看。
记忆好不好,取决于存什么和怎么找
这里的记忆是一套可以用文件工具修改的持久目录。Agent 连续处理子任务,每次开始时上下文都会清空,只有这个目录能够保留信息。
两个提示词控制记忆的读写:OFFLOAD 在子任务结束后更新文件,LOAD 在下一项任务开始前读取笔记。通用提示词只要求模型管理记忆,具体怎么组织由模型决定。
研究的出发点是:没有一种人工设计的策略能在所有任务上获胜。SQL 分析、仓库修复和无线电扫描,需要留下的知识并不相同。
例如,搜索得到的 Database 指令要求先读 GUARDRAILS.md,再读 SCHEMA.md;Codebase 的最佳方案则使用快速入门文件、带索引的修复登记表,以及独立的修复文件。它们把「保存有用信息」变成了明确的查阅顺序和文件结构。
有效记忆不只是压缩历史,还要让下一次任务知道先查什么。
模型怎样找到比人工更好的指令
第一阶段是运行框架优化(harness optimization)。这里的 harness 可以理解为包在模型外面的操作规则,搜索范围集中在 LOAD 和 OFFLOAD 提示词。
搜索从 Summary、Retrieval、Skill、Hypothesis 四个人工种子开始。每个候选方案完整运行任务流 5 次,按平均分选出前 4 个,作为下一轮修改的基础。元 Agent 会读取执行轨迹、得分和最终记忆目录,再提出修订方案;筛选还使用元 Agent 看不到的留出集。
这不是让模型随便改几句话,再挑一个看起来顺眼的版本。候选方案必须真正跑完任务,用结果决定去留。
三个 Continual Learning Bench 任务的结果如下,所有行都使用 Kimi-K2.6:
| 方案 | Database | Codebase | Spectrum | 平均分 |
|---|---|---|---|---|
| 无记忆 | 7.5 | 31.8 | 21.9 | 20.4 |
| Compaction | 39.8 | 36.9 | 34.6 | 37.1 |
| 通用框架 | 32.3 | 33.5 | 42.5 | 36.1 |
| 最佳人工方案 | 47.9 | 43.7 | 42.1 | 44.6 |
| 优化框架 | 53.8 | 64.3 | 49.9 | 56.0 |
| 通用轨迹 SFT | 31.6 | 37.5 | 43.6 | 37.6 |
| 优化轨迹 SFT,使用通用提示词 | 37.7 | 45.1 | 46.5 | 43.1 |
优化框架在三个任务上都超过人工最佳方案,Codebase 提升最多,达到 20.6 分。不过,44 次自动修订中有 37 次没能超过此前最佳结果。Database 和 Spectrum 在第一代就达到峰值,Codebase 则持续改进到第 4 代。
搜索有收益,但失败候选很多。评测与筛选是方法的一部分。
把记忆技巧训进权重,留下了多少收益
第二阶段采用 Discover-Demonstrate-Distill:发现策略、生成示范、蒸馏训练。
任务 Agent 先按优化后的提示词执行训练子任务,研究团队记录每次模型调用,再把记录里的优化提示词换回通用提示词,用这些轨迹做监督微调(SFT)。
这样替换能够成立,是因为示范行为仍符合通用指令。例如维护 QUICKSTART.md、REGISTRY.md、SCHEMA.md,以及聚合前核验关联键,都属于合理的记忆与任务操作。训练目标是让模型在普通指令下,也能主动做出这些动作。
底座 Kimi-K2.6 是总参数 1T、激活参数 32B、上下文 256K 的 MoE 模型。训练在注意力投影层添加 rank 64 的 LoRA,只对 assistant token 计算损失,覆盖推理和工具调用,各任务权重相同。元 Agent 和任务 Agent 使用同一个模型,因此这些记忆技巧由模型自己发现,再用于训练自身。
蒸馏后,所有模型都运行通用框架。在 10 个匹配种子的评估中,优化轨迹训练得到 43.1 分,通用轨迹训练得到 37.6 分,增加 5.5 分,相对提升 14.6%。Spectrum 的增幅只有 2.9 分,即 46.5 对 43.6。
蒸馏保留了部分收益,没有复现优化框架的 56.0 分。
训练硬件没有披露。原文只提到 Kimi-K2.6 推理需要多 GPU 节点,Vast.ai 推荐 8x H200,并有原生 INT4 权重;这些信息不能当作本次训练配置。
我的判断
我认可它把记忆设计变成可评测对象:文件该怎么分、什么内容先读、哪些经验值得保留,都可以用任务结果验证。对仓库修复来说,索引和独立修复记录也比不断追加长摘要更容易定位信息。不过,这套研究同时调整多项规则,没有给出足够的拆分对照,不能把提升全部归因于某个文件名或目录结构。
适用范围也需要收紧。测试包含设计好的任务阶段变化,衡量的是同类任务中新实例的泛化,不能据此推断 Agent 已经能跨任意领域持续学习。自动搜索消耗多少调用、成本能否覆盖收益,原文也没说清,代码尚未发布。
和其他方案相比,ALMA 搜索 Python 形式的记忆设计,MemEvolve 搜索记忆架构与内容,两者不训练权重;Harness-Zero 搜索完整框架并做 LoRA SFT,最接近这项研究,但它会用独立 Agent 纠正学生模型。它们的基准不同,不能拿各自最高分直接排优劣。
对于一般团队,先验证文件记忆是否优于现有摘要或检索方案,再考虑自动搜索与蒸馏,更容易判断投入是否划算。
能拿来做什么
- 给长期处理同一仓库的 AI 助手设计明确的读写规则:结束时记录修复条件与验证方法,开始时先读入口文件,再按索引找具体记录。
- 为 SQL Agent 分开保存约束和表结构,并明确要求聚合前检查关联键,避免把所有经验塞进一份不断增长的摘要。
- 调整记忆提示词时,用固定任务流重复评测,并保留候选方案看不到的测试集;一次成功不足以证明新规则更好。
- 如果准备微调,分别记录优化提示词运行和通用提示词运行的成绩,确认哪些收益能被训练保留,再决定是否投入训练资源。