Agent 记忆验收:工单编号必须逐字正确
文章提出跨会话记忆验收方法:保存虚构编号后开启新会话,以独立答案表进行精确比对,并分别检查存储、检索证据和最终回答。测试要求保留前导零、大小写及版本后缀,缺失证据时返回未知;这是一套测试提案,尚无实测结果。
AI 深度解读
给 AI Agent 选长期记忆工具时,除了问它「还记不记得」,还要问它能不能把标识符原样交回来。偏好描述可以改写,客户引用号 000731 少两个零就可能查到另一条记录。只看回答的大意,很容易漏掉这种错误。
作者提出了一套小型验收流程:写入虚构数据,开新会话提问,再用评估者保管的答案逐字符核对。它还把写入、存储、检索、模型上下文和最终回答串起来,方便定位值最早在哪一步变了。原文给的是测试方案,没有实测结果。
哪些字段需要逐字符验收
先把测试契约写下来。用户偏好「回复简短一些」,用别的措辞复述也可以。工单号、包版本标签和文件名则可能要交给程序继续使用,前导零、字母大小写、标点和版本后缀都要保留。原文给这组用例定了两条规则:有证据就返回存入的值,缺记录就返回 unknown。
这段 JSON 用字符串保存 Cedar 的虚构客户引用号,可以作为支持结构化写入的最小测试记录。
{
"project": "Cedar",
"customer_reference": "000731"
}
留意 customer_reference 这一行的引号。RFC 8259 第 3 节和第 6 节区分了字符串与数字,JSON 数字的语法也不允许前导零。选择字符串解决的是输入表示问题,后面的集成链路仍然要逐段验证。
如果工具只收自然语言,可以明确写入「Cedar 的客户引用号是精确字符串 000731,请保留前导零」,并把原句存入评估材料。用虚构值,避免把凭据、真实客户标识符和生产记录写进去。如果被测 Agent 已经见过原文,就换一批值。标准答案由评估者保管,放在 Agent 的工作区和启动上下文之外。
新会话答对了,还要看值经过了哪几步
按候选工具的文档写入,留存回执和记录 ID。遇到异步入库,先用文档提供的方式确认完成。写入状态无法确认时,这轮应记为「无法判定」,因为此时很难知道查询失败发生在写入还是检索阶段。
然后在同一授权项目范围内开新会话,去掉设置阶段的对话、评估笔记和含答案的文件。一次只问一个字段,例如「请原样返回已保存的 Cedar 客户引用号。如果查不到,回答 unknown。」工单号、包标签和文件名也各开一个新会话测,问题里别放答案选项或示例。原文没有给出这三个字段的具体测试值,实际执行时需要自行准备。
评分时取出返回字段。如果响应是 JSON,先解析,再核对字段的值与类型。字符串 "000731" 合格,数字 731 不合格,包标签丢了后缀也不合格。响应格式合规与字段保真分开记,便于区分 JSON 格式错误和标识符变化。
定位问题时,依次看应用提交的写入值、实际存储的值和类型、工具返回的检索结果、应用处理后送给模型的上下文,以及最终回答。哪一段看不到,就记为「未观测」。如果记录里是 000731,送到模型时已变成 731,就沿检索结果和上下文之间的转换排查。如果模型收到的值正确,最终输出却变了,就去看回答生成环节。单次答对只能确认这一次返回值符合契约,存储状态还得靠记录本身验证。
改号和查空值能测出什么
基线测完后,走工具支持的更新流程,把客户引用号改为 000732,明确它替代 000731。再次确认写入完成,再开新会话问当前引用号。工具可以保留历史记录,验收时要求返回 000732,并且检索证据能解释为什么选它。这样能测到 Agent 在新旧值同时可见时会怎么判断。
再问一个从未写入的字段,例如 Cedar 的账单账户代码,按契约要求回答 unknown。每个用例都保存提问、记录 ID、可见链路、返回值和判定,结果记为「通过」「失败」或「无法判定」,同时保留模型、指令和集成设置,方便复查。
我的判断
这套方法最实用的地方,是把最终答案的对错和问题发生的位置都纳入验收。只做端到端比对,适合快速筛查,但失败后还得补查中间值。只检查存储记录,则会漏掉检索结果进入模型前的类型转换,以及模型输出时的改写。接口开放到哪一层,决定了团队能把问题定位到多细。
作者没有执行这组测试,也没有提供产品间的对照数据。它是一套设计建议。固定值通过后,还可以配合近似值检索测试,看看库里有多个相似标识符时会取到哪条记录。访问控制、删除行为和整体可靠性需要各自的验收证据。
能拿来做什么
- 在 Node 的 Agent 集成测试里给客户引用号加一条字符串严格相等断言,并单独记录响应格式是否符合约定。
- 给会被传给查询接口的工单号、包版本和文件名各准备一组虚构值,覆盖前导零、大小写、标点或后缀,再用新会话逐条提问。
- 给同一个字段加上「旧值被替换」和「字段从未存过」两条用例,分别验证当前值和
unknown,并保留可见的检索证据。