Anchors 方法让 LoRA 微调灾难性遗忘降低 28 倍

持续学习锚点将 100 任务的保留率从约 1% 提升至约 35%，相比朴素微调实现了 28 倍的飞跃。作者展示了将数据、函数和权重锚点与合并的低秩 LoRA 更新结合，能够将预期的灾难性遗忘曲线翻转为稳健的记忆机制 [1]。

在这些组合方法出现之前，朴素的顺序微调几乎瞬间遗忘：在 Symbol-QA 和 LLM-QA 上记忆半衰期仅一个任务，在 Real-QA 上为两个任务。先前工作评估的所有单一持续学习机制在 100 次更新后均未能保持强记忆力，使长期记忆成为一个悬而未决的问题 [1]。

最佳配置将数据锚点、函数锚点、权重锚点与低秩 LoRA 更新合并，将平均最终保留率从 1.2% 的基线提升至 34.9%——28 倍的提升使其在三个数据集中均位列前三。数据锚点和合并 LoRA 提供了最大的平均收益，且在每个基准测试上都表现出超加性交互。

该结果局限于三个构建的 100 任务记忆套件，且依赖合并 LoRA，这增加了额外的参数记录工作，可能无法 trivial 地扩展到更大的模型家族。此外，尽管数据锚点与合并 LoRA 之间的超加性交互是明确的，但与其他持续学习技巧的更广泛交互仍未被探索；一个开放问题是类似提升是否会在无监督或流式场景中出现 [1]。

构建终身学习 LLM 的实践者应将普通微调替换为数据锚点 + 合并 LoRA 配方，并重新运行标准持续学习基准测试以验证记忆提升效果。

Continual Learning Mechanisms Compose for Long-Horizon Memorization