不用向量库,双层记忆维持长期对话
作者采用近期原文与长期事实两层记忆:文字聊天保留最近 40 条消息,语音保留 24 条。每收到 5 条用户消息便提炼一次长期事实,最多保存 15 条、约 1500 字符,并随后续请求注入提示词。
AI 深度解读
AI 陪伴产品里的「记得我」,其实有两层含义:既要接得住刚才的对话,也要记住上周提过的重要事情。Lovora 作者给出的方案很克制:保留最近 40 条消息原文,再维护最多 15 条用户事实,不用向量数据库检索历史消息。
这套设计值得看的地方,是它把连续对话和长期记忆拆成了两个问题。对正在做对话应用的开发者,它提供了一个容易检查、修改和控制输入规模的起点,但还不足以证明检索没有价值。
最近的对话,为什么要保留原话
Lovora 是面向成年人的 AI 陪伴服务,支持 9 种语言。作者发现,用户判断 AI 是否记得自己,首先看的是眼前的交流能不能接下去。
因此,每次文字回复都会带上双方最近 40 条消息,而且保留原文。语音通话则缩到最近 24 条,因为语音轮次需要更快响应,提示词也要更小。
这里的数量是双方消息合计,不是 40 轮或 24 轮对话。
保留原话,是为了留住摘要容易抹掉的细节:一句玩笑的措辞、争论的具体内容,以及角色两条消息之前作出的承诺。这些信息未必适合写进长期档案,却会直接影响下一句是否自然。
近期窗口负责接住对话,长期事实负责记住用户。
作者也承认,逐字保留的窗口才是主要开销:每次回复都要重新携带这些消息。40 条是他们的取舍,不是适用于所有产品的标准答案。
长期记忆的重点,是重写而不是追加
每当用户发送 5 条消息,系统就通过一次独立调用,读取最近一段对话并更新用户事实。清单最多保留 15 条短事实,总量约 1,500 个字符,之后每次文字聊天和语音通话都会把它放进提示词。
适合留下的内容包括用户主动透露的姓名、年龄、职业和住址,兴趣与好恶,关系、家人和宠物信息,以及计划、事件和相关感受。明确表达的偏好,包括亲密偏好,以及用户特别要求记住的事情,也在范围内。
闲聊则丢弃。清单只记录用户,不记录角色,因为角色的人格和背景已经固定。
最关键的操作是处理变化:新信息与旧事实冲突时,更新或删除旧项,而不是继续追加。
例如,这层记忆希望支持的体验是:用户上周提到求职面试,经过数百条消息之后,角色仍能自然追问进展。它不需要复述当时的全部对话,只需要留下值得继续关心的事实。
不过,原文没有交代事实如何排序、满额后怎样淘汰,也没展示冲突判断的准确率。方案描述清楚了容量边界,筛选质量仍取决于提炼步骤。
不用向量检索,换来了什么
作者反对按相似度检索历史消息,主要有三个理由。
第一,措辞相似不等于此刻重要。「早上好」与「我母亲住院了」并不相似,但后者可能才是回应问候时应该关心的事。
第二,检索出的片段可能缺少上下文,模型容易在奇怪的时机引用,或者引用得不自然。
第三,历史数据会不断增长。相比之下,一份有上限、持续重写的事实清单,在第 10 条和第 10,000 条消息时,都保持相同的容量上限,也容易检查、纠正和删除。这里固定的是记忆清单的预算,不是整个系统的总成本。
他们还设置了两个边界:每个陪伴角色拥有独立的对话和记忆,用户告诉一个角色的事情不会被另一个知道;删除账号时,会删除对话和记忆。
两层记忆都通过纯文本进入提示词,因此更换模型时可以继续使用。作者称事实提炼开销较低,因为它每 5 条用户消息才运行一次,而且只处理短片段,但没有给出实际费用或延迟数据。
我的判断
我认可这套方案的起点:先把记忆控制在能检查、能纠错的范围内,再决定是否增加检索。
它尤其适合「围绕一个用户持续交流」的场景。相比单纯压缩全部历史,原文窗口保留了近期表达;相比不断追加用户档案,重写清单可以避免旧事实长期堆积。
但作者对检索的批评,主要是经验判断。原文没有提供与检索方案的对照实验,也没有记忆准确率、响应延迟或用户满意度数据,不能据此认定 15 条事实优于其他方案。
容量上限也有代价。它迫使系统做取舍,却可能挤掉低频但重要的事情;每 5 条用户消息才提炼一次,也留下了更新间隔。对于需要找回精确历史记录的应用,一份事实清单无法替代历史检索。
能拿来做什么
- 做对话应用时,可以先分别设置近期原文窗口和长期事实清单,再按实际响应延迟调整窗口,不必直接照搬 40 条与 24 条。
- 在 Node 后端把事实提炼放进独立调用,明确约束「只保留用户事实、冲突时更新、数量有上限」,并检查提炼结果是否混入角色信息或闲聊。
- 验证记忆效果时,可以覆盖三类情况:接住刚才的承诺、追问较早的事件、用新信息替换旧事实。这些比单问一句「你记得我吗」更容易发现问题。
- 如果产品需要找回很久以前的原话,再考虑补充检索;如果只是保持持续交流,先验证这两层记忆是否够用。