用两组任务验收智能体记忆检索
先存入一条适用范围明确的项目约定,再分别执行需要和无需遵循该约定的任务。逐层检查检索记录、注入的上下文和最终回复,判断约定是否在合适的场景生效。
AI 深度解读
给编程 Agent 接上长期记忆后,光看它能不能记住项目约定还不够。PLUR 的 AI Agent Data 提议用同一个项目里的两道题验收记忆层。让 Agent 先起草一份需要遵守约定的发布公告,再回答一道无关的技术题,看看这条约定会在哪一步出现。
这套方法适合正在接入记忆工具的前端和全栈开发者。它把检索候选、实际送入 Agent 的上下文和最终回答分开检查。同样是一份没跑题的回答,可能是集成提前筛掉了无关记录,也可能是 Agent 收到记录后没用它。只看回答,分不出这两种情况。
为什么要从一条很窄的约定开始
选一个用完即可丢弃的测试项目,存一条人为设计的约定。作者用的是虚构项目 Juniper,规定它的发布公告必须以「Juniper launch note」为标题,适用范围只限发布公告。「写得简洁些」这类偏好太宽,两道题都可能用上,结果就难解释了。
运行前,把适用范围和预期结果写进一份只有评估者能访问的记录。再通过你实际要验收的集成写入约定,保留写入结果,界面允许的话也检查一下存储记录。Agent 回复「记住了」,只能证明它给出了这句确认。后面要判断哪一环出了问题,得先有证据表明约定确实存进去了。
为什么两道题要留在同一个项目里
第一道是正对照,也就是一个理应触发记忆的任务。在 Juniper 里开一个新会话,让 Agent 为新的设置页面起草发布公告,提示词里省去规定的标题。预期是 Agent 收到这条约定,公告也确实用了「Juniper launch note」。如果这一步失败,先排查写入、检索和上下文交付。完全没传过记忆的集成,也能给无关题交出一份干净的回答。
第二道另开一个新会话,沿用同一个项目、配置和存储记录,让 Agent 用三个短段落解释栈和队列的区别。这样测的是同一项目内的任务相关性,跨项目隔离可以单独验收。如果还想加一道无关题,可以提前选好「简短解释二分查找」。看完结果再反复改题,容易把偶然通过当成稳定表现。
看候选、上下文和回答,分别能知道什么
检索候选能告诉你工具找到了哪些记录。实际送入的上下文能告诉你,候选里的哪几条经过筛选到了 Agent 手上。最终回答则能看出约定有没有体现在产物里。无关记录出现在候选列表里,可能随后就被筛掉。反过来,即使回答里没有发布公告的标题,也不能据此断定那条约定没进入上下文。
MCP 提供交换上下文的协议,具体筛选策略由应用决定。如果你评估的是 PLUR 集成,可以保存 plur_learn 的输入和输出来核对约定写入,也可以保存 plur_recall 的输入和输出查看检索结果,再和实际送入 Agent 的上下文对照。文档列出了这两个取证位置,具体表现还得在计划使用的版本和配置上验证。
我的判断
这套方法最有价值的地方,是把「回答看起来正常」和「记忆筛选符合预期」变成了两个可分别验证的结果。只看输出适合做冒烟测试。要判断是候选筛选失灵,还是模型收到约定后没有采用,就得看中间记录。
原文给的是验收设计,没有发布实测结果,也没有产品间的对照数据。栈和队列与发布公告相距很远,这一组题适合检查明显的误用。真实工作里更难判断的是相邻任务,例如 PR 描述、更新日志和发布公告都可能提到同一个设置页面。假如团队对一条约定的适用范围本来就没共识,测试之前得先把预期写清。
能拿来做什么
- 给前端项目的发布公告选一条范围清楚的格式约定,用同一项目下的新会话分别跑公告题和栈、队列题,验收你日常使用的 Agent 集成。
- 提前定好通过条件。发布任务收到约定并按要求使用,无关任务的上下文里没有这条约定,两边都有记录可核对。如果只能看到回答,就记录输出结果,把上下文筛选标为未验证。
- 保存工具版本、配置、存储记录、原始提示词、能看到的上下文和两道题的结果。调整筛选设置后两道题都重跑,保留失败记录,检查无关上下文减少时有用的约定是否也被筛掉了。