63 次测试比较 Claude Code 三种记忆方案
Mnemolith 作者用七项任务比较无记忆、CLAUDE.md 和自身记忆工具,共运行 63 次,报告正确完成数分别为 9、18、21 次,每组均为 21 次。三组平均单任务成本接近,测试涉及历史决策、业务约束和跨会话信息。
AI 深度解读
给 Claude Code 加记忆,能不能减少它改错代码?Mnemolith 的作者拿同一组项目事实,对比了无记忆、CLAUDE.md 和 Mnemolith 三种配置。结果支持一个有限的结论:项目约束确实有用,自动保存跨会话信息也有价值,但这次实验还不足以证明专用记忆工具全面胜过 CLAUDE.md。
这篇值得读的地方,是作者同时交代了有效的部分和没测出收益的功能。对日常使用 AI 编程的人来说,关键在于分清:哪些错误来自缺少上下文,哪些能力仍需要更大的实验验证。
这 63 次运行,究竟测了什么
作者在一个示例代码库里准备了 7 个任务,每个任务在三种配置下各跑 3 次,总计 63 次运行,模型是 Claude Opus 5.5:
- 不提供记忆。
- 用 CLAUDE.md 提供项目事实。
- 用 Mnemolith 提供相同的项目事实。
任务需要的都是「同事才知道」的信息:过去为什么做某个决定、哪支团队负责哪块代码、向合作方承诺过什么,以及业务规则。其中 2 个任务需要使用先前会话里提过的信息。每次运行由自动检查评分。
这种设计针对的是一类明确的问题:代码本身未必能告诉 Claude,某个接口已经向合作方承诺冻结,或者退款必须经过审批。
能读懂代码,不等于知道哪些事情获得了业务授权。
实验中,无记忆的 Claude 每次都出现了相应的越界行为:修改其他团队的代码、改动冻结的合作方 API,以及跳过退款审批。三种配置的单任务成本则大致相同。不过,原文没有给出具体金额或成本拆分,不能据此推导长期使用的成本。
专用记忆的增量,出现在跨会话信息里
CLAUDE.md 已经能承载项目事实。Mnemolith 在这次实验里更明确的优势,是自动留下了会话中新出现的信息。
作者举的例子是数据库地址:它曾在更早的一次会话中被提及,CLAUDE.md 没有记录下来;Mnemolith 自动保存,并在下一次会话中使用了它。
这里需要区分两件事。静态文件能否提供已写进去的知识,与工具能否自动捕获后来出现的知识,是两个不同的能力。这个结果支持后者的价值,却不能证明 CLAUDE.md 无法表达同样的信息。
原文也没有展开说明,起始时「相同的事实」具体包含什么,以及跨会话信息如何进入各组配置。要完整复现实验,这些细节仍需确认。
Mnemolith 的另一个核心设计,是把每条记忆关联到它依赖的文件。当文件变化时,工具会将相关记忆标记为可能过期。
但在这个小仓库中,过期标记没有改变结果。Claude 自己阅读代码,就发现了变化。作者认为它可能在大仓库里更有帮助,同时明确承认:这个判断尚未得到验证。
团队共享以后,记忆也需要审查
作者还加入了团队共享记忆:内容以普通 Markdown 文件保存在仓库里,通过 PR 审查;当某个 PR 使记忆可能过期时,GitHub Action 会发表评论提醒。
这让项目知识进入了现有的协作流程。团队可以看到一条记忆是怎么写入、怎么修改的,也能检查它是否仍然符合代码和业务约定。
小团队测试中,共享记忆答对了 4/4 个任务,共享 CLAUDE.md 答对了 3/4 个。但每个任务只运行一次,作者也把它称为一个方向,而非最终成绩。一次任务的差距,还无法说明结果是否稳定。
工具本身在本地运行,无需账号或 API key,使用 MIT 许可证。复现实验仍需使用自己的 Claude Code 套餐,不能把工具的使用条件理解成模型调用免费。
我的判断
我赞成先把团队约束明确提供给 AI。代码归属、接口冻结和审批规则,往往无法只靠源码可靠推断。这个实验也提醒我们,评估 AI 编程不能只看功能是否跑通,还要检查它有没有违反约定。
但选工具时,应把两种收益分开判断:一是提供上下文,二是自动维护上下文。前者用 CLAUDE.md 就能开始做;后者才是 Mnemolith 这类工具需要证明的增量。
这次实验规模有限,任务又专门要求使用团队知识,因此结论更适用于这类任务,不能直接推广到所有编码工作。原文没有列出完整分项成绩,也没有证明大仓库收益。团队测试虽然给出了对照数字,但样本太少;「过期提醒在大仓库更重要」仍是作者的推测。