Agent 记忆选型:检索之外还要查投毒
Monomem 作者复跑 agentmemory 基准后,发现两者成绩差异不具统计显著性,并披露自身调参造成的评测局限。文章进一步讨论记忆写入来源、可疑内容审核、撤销能力,以及攻击回放测试中的已知漏检。
AI 深度解读
给 AI 编程助手加长期记忆,检索分数越高就越值得用吗?Monomem 作者复跑竞品 agentmemory 的测试,得到相同的 84.7%;自己的系统拿到 86.0%,但统计检验显示,两者只能算打平。
作者想讨论的是另一件事:当记忆检索的差距不足以分出胜负,谁写入了记忆、外部内容能否污染它、出问题后如何处理,可能更影响实际使用。这篇的价值,在于公开了成绩背后的限制,也暴露了安全能力的边界。
86.0% 为什么不能算赢了 84.7%
Monomem 是面向 AI 编程 Agent 的共享记忆工具。作者用长期记忆测试 LongMemEval-S,对比了自己与 agentmemory 的表现。
他们先在同一份数据文件上,重跑 agentmemory 自己的评测,复现了其公布的 84.7%。Monomem 则答对 470 道题中的 404 道,得分为 86.0%。
但逐题比较,比看总分更有用:有 14 道题只有 Monomem 答对,也有 8 道题只有 agentmemory 答对。作者使用精确 McNemar 检验,得到 p = 0.29,差异不显著。这种检验适合比较两个系统在同一批题目上的对错差异。
这次测试支持的结论是打平,不能凭高出的分数宣布胜出。
这里还有一个容易忽略的前提:Monomem 的排序策略,曾在这套题的一半上调优。作者因此认为,另一半的结果更公平,并公布 R@5 为 97.5、Rall@5 为 86.2。这两个是检索指标,不能直接当成答题正确率,也不能拿来与 84.7% 横向比较;原文没有展开具体计算口径。
作者还承认,Vestige 公布的成绩比 Monomem 更高,但那是对方自己的数字,他没有复跑。
记忆不仅要找得准,还要追得到来源
作者据此提出判断:记忆搜索正在变成通用能力,接下来更重要的是信任。
这仍然是作者的观点,一次打平的评测还不足以证明整个领域已经没有明显差距。不过,他提出的问题很具体:一条记忆是谁写的?外部网页里的指令会不会混入记忆?错误写入能否撤销?
对编程 Agent 来说,记忆投毒就是把恶意内容存成以后会被检索、被采用的材料。一次外部输入,可能因此影响后续任务。
Monomem 给出的做法,是记录每条笔记由哪个应用写入,并暂存可疑写入,等待人工查看。它还提供 monomem check --attacks,在记忆库副本上重放 26 种已知投毒攻击。
但作者同时列出了两类已知漏检:改写措辞的覆盖指令,以及自投毒。检测依赖模式匹配,没见过的改写攻击可能通过。
能识别已知攻击,不等于能挡住未知攻击。
原文把撤销能力列为重要问题,却没有说明具体实现和验证结果,不能仅凭这篇文章认定它已经解决。
我的判断
我更认可作者披露限制的方式,而不是「记忆搜索正在商品化」这个判断本身。
复现竞品分数、公开逐题差异、交代调优数据重叠、承认其他系统成绩更高,这些信息让读者能判断证据有多强。它们比单独展示一个最高分更有参考价值。
但可信记忆的有效性,还缺一组对照数据:可疑写入会误拦多少正常内容?人工审核增加多少负担?相比直接写入、不做来源记录的方案,实际减少了多少风险?原文都没有回答。因此,把信任当作选型重点是合理建议,把 Monomem 当作已经验证的安全方案则证据不足。
部署条件也要分开看。Monomem 全部在本机运行,存于一个文件,无需云服务和账号,使用 MIT 许可证。这些条件降低了试用门槛,但本地运行本身不能阻止记忆投毒。它仍处于 Beta,也没有接受独立安全审查。
能拿来做什么
- 给日常 AI 编程助手选择记忆方案时,除了看检索成绩,还要确认能否追踪写入应用,以及可疑内容进入记忆前如何处理。
- 自己做评测时,把排序调优题集与验证题集分开,保留逐题结果。作者提供的复现命令为
monomem bench --longmemeval ... --per-question out.ndjson,完整步骤在docs/BENCHMARK.md,其中...需要按文档补齐。 - 试用 Monomem 时,可以先运行
monomem check --attacks检查已知攻击,再重点审视它已承认漏检的改写指令与自投毒场景,避免把测试通过当成安全保证。