用用户搬家案例对比四种智能体记忆方案
文章以 TypeScript 和 ADK 构建的语音智能体为例,对比全量历史、向量检索、知识图谱和 Gemini Memory Bank。测试用用户先后提供两个住址的场景,说明历史累积如何增加 token 开销,以及相似度检索为何可能同时返回新旧事实。
AI 深度解读
语音 Agent 一边听用户说话,一边判断要不要执行动作。每隔几秒把整段转写重新发给模型,输入会越滚越大。等用户下周再来,上次说过的住址又可能已经丢了。
Google Cloud 工程师 Laxmi Harikumar 和开发者 Miles Libbey 用 TypeScript、Agent Development Kit(ADK)做的 Scribant 演示了一个解法。当前判断只看最近的话,本次会话靠摘要接续,跨会话只记需要更新的事实。最实用的地方,是这三份输入可以各自计量。
用户搬家后,Agent 应该记住哪个地址?
作者用同一道题比较 4 种记忆方案。用户先说「我住在纽约」,后来又说「我搬到了旧金山」,最后问「我现在住哪儿?」这道题考的是能否识别新陈述已经更新了旧信息。
把历史直接拼进提示词(flat prompting),模型能同时看到两次陈述,再根据顺序判断哪个地址有效。检索增强生成(RAG)适合从知识库找相关内容,但两条地址记录都可能与问题相关,搜得准也得再判断哪条有效。知识图谱可以显式表达用户、住址及其关系,更新逻辑仍要由系统设计。演示选用 ADK 的 Memory Bank,提取用户事实供后续会话调用。原文没交代四种方案各自答得怎样,也没说明 Memory Bank 遇到冲突时如何处理旧记录。
每 2 秒来一段转写,哪些内容还要发给模型?
Scribant 能把口述内容变成日历事件和任务。它每 2 秒收到一段新转写,旧文本如果跟着每次重发,同一句话就会被反复计入输入。团队按信息要用多久,做了 3 处调整。
- 当前这轮只让意图分类器看最近 40 个词。 用户说得越久,这一步看到的转写仍有固定上限。
- 本次会话用滚动摘要(rolling summary)接续。前面说过的内容压成一份持续更新的摘要,供后续处理使用。
- 跨会话用 Memory Bank 存提取出来的事实。以后需要时再召回,保存的是用户事实这一层。
在一段约 200 个口语词的演示里,40 词窗口比发送整段语音转写流少用了约 86% 的分类器输入 token。滚动摘要是 92 token。Memory Bank 保存的事实约占 24 token,按原文的比较,摄入完整会话约需 1,400 token。这三组数字对应不同环节,原文没有给出整条流水线的延迟或总费用变化。
我的判断
这套拆分最合理的一点,是意图判断和长期记忆可以分别调整。直接拼接完整历史,短会话里实现简单,还能保留原话。对每 2 秒处理一次转写的分类器,固定窗口更容易控制输入量。代价也具体:用户先提出要求,隔了一大段话才补上一句否定或确认,40 个词可能已经装不下理解这句话所需的上下文。
约 86% 的降幅来自一次演示。把 40 个词当起点是经验建议,原文没有拿不同窗口长度对照,也没有报告分类准确率或摘要漏掉了多少信息。记忆方案的取舍同样如此。已有 RAG 的团队可以给用户事实加时间和有效状态,再按当前状态读取。哪种方式更适合,得看更新、纠错和召回能否通过团队自己的测试。
能拿来做什么
- 给跨会话记忆加一条回归测试。第一轮记录纽约,后续会话更新为旧金山,再问当前住址,检查回答会不会捡回旧值。
- 给语音输入或流式指令分类做窗口对照。从 40 个词起步,把前置约束和句尾改口都放进样本,同时测分类正确率和输入 token。
- 在 TypeScript Agent 里参考原文提到的
token-telemetry.ts,分别记录分类器输入、摘要长度和持久化事实大小。需要评估提速时,再单独测端到端延迟。