用项目改名验收智能体的长期记忆
文章提出一项验收测试:先在新会话中确认智能体能找回一条虚构事实,再改项目显示名并重复查询。测试应分别覆盖显示名、目录和记忆命名空间的变更,并检查集成用什么标识关联项目。
AI 深度解读
选长期记忆工具时,可以加一道验收题:把测试项目 Lantern 改名为 Beacon,再开一个新会话,看看 Agent 还能不能找回改名前保存的约定。接着新建一个也叫 Lantern 的独立项目,检查旧记录会不会被检索出来。
这套测试测的是项目身份能否在改名后延续。Agent 答对一次,只能说明它给出了预期答案。要判断记忆究竟跟着哪个项目走,还得看检索请求带了什么标识,以及存储实际返回了哪条记录。
先说清楚改的是名字、目录,还是记忆范围
原文把显示名、目录路径和记忆命名空间视为三个独立变量。命名空间决定检索会在哪个范围里找记录。第一次只把测试项目的显示名从 Lantern 改为 Beacon,保持模型、指令、存储端点和访问身份不变。如果应用只能按目录选择项目,就单独做目录改名测试,并在结果里写清测的是目录。
动手前先定好三条预期。Beacon 延续 Lantern 原来的导出约定。同名的新项目 Lantern 有独立的记忆范围。在 Beacon 里提到历史名称 Lantern 时,应用按事先约定的别名策略处理,可以解析到 Beacon、要求澄清,或者提示旧名称已停用。如果团队原本就让所有项目共享记忆,需要先选一个支持按项目限定检索范围的配置,才有条件验证这里的隔离预期。
先证明改名前能找回,再跑三次新会话
用集成支持的写入操作保存一条虚构约定:这个项目的导出包前缀是 copper-finch-73。这个值无法从 Lantern 的名字推出来,后续测试也要把标准答案留在会话外。保存时记录写入结果,以及集成能提供的记录 ID、目标存储和项目 ID,再独立查看那条记录是否存在。
接着在 Lantern 开一个新会话,问「这个项目的导出包应该用什么前缀?请指出已保存的证据,如果找不到相关记录就直说。」如果 Agent 答对了,检索轨迹却看不到,就把答案和证据的可见性分别记下来。等基线能确认是检索命中了那条记录,再通过应用支持的流程改名。记录显示名、稳定项目 ID 和配置的检索范围分别有没有变化。需要手动迁移时,把迁移单独记为一个操作,便于判断连续性实际依赖哪一步。
改名后分别开三个新会话,每个都排除设置阶段的聊天记录和标准答案:
- 在 Beacon 里重问导出前缀,核对返回记录是否就是改名前写入的那条。
- 打开新建的无关项目 Lantern,检查检索结果里有没有混入旧约定。即使 Agent 的回答没提到前缀,只要记录已经返回给模型,隔离用例就没通过。
- 在原项目的上下文里提到历史名称 Lantern,检查表现是否符合别名策略。如果应用无法区分历史名称和当前的同名项目,就把这个歧义记下来。
答错时,沿调用链找第一个出问题的环节
先看会话选中了哪个项目,再看发给记忆集成的是哪个 ID 或检索范围。接着核对原记录还在不在预期的存储里、检索有没有返回它,最后才看 Agent 有没有正确使用证据。看不到的环节标为未知。一次查询为空,只能确认那次没有拿到记录,还需要查存储才能判断数据是否丢失。
对于基于 MCP 的集成,项目怎么选、记忆范围怎么定,仍由应用负责。验收时要查实际的项目选择结果和检索请求。修过映射或加过别名之后,三个用例都要重跑,因为同一次修复既可能恢复 Beacon 的召回,也可能让新的 Lantern 读到旧约定。
我的判断
把「原项目还能找回」和「同名的新项目拿不到」放进同一轮验收,是这套流程最有用的地方。只测改名后能不能答对,很容易把检索范围过宽当成测试通过。普通的项目隔离测试能检查两个项目平时是否串记录,改名测试则补上了项目身份在变更时会怎样。授权边界需要单独做权限测试。
原文给的是一份验收方案,项目和记录都是虚构的,作者没有报告实际执行结果,也没有给出工具间的对照数据。对只能看到聊天答案的团队来说,能得出的结论仅限于回答的表现。能否确认项目连续性,还取决于集成是否暴露实际使用的标识和返回记录。显式迁移也可以满足采用条件,前提是团队愿意接受这一步,并能用三个用例复验。
能拿来做什么
- 评估团队的 AI 编程工具时,拿一个临时前端或 Node 项目保存一条虚构的导出包前缀,先在新会话里确认检索能命中,再测试改名后的行为。
- 如果日常靠仓库目录切换项目,就做一次单独的目录改名测试,记录改名前后请求里实际使用的项目标识或检索范围。
- 把集成版本、改名步骤、观测到的 ID、必要的手动迁移和未决用例写进验收表。升级集成或调整别名后,复跑三种召回用例。