个人记忆RAG踩坑:角色台词变成用户事实
作者用Postgres与pgvector构建聊天记忆,结合全文检索、向量召回、RRF融合及模型重排,却发现系统混淆了角色扮演内容和真实个人信息。案例表明,即使保存作者、原句和日期,事实归属仍是记忆抽取的重要难题。
AI 深度解读
把几年的聊天记录接进 RAG,AI 就能记住你的朋友、口味和生活习惯吗?作者确实做到了,但助手也顺手给她编出一个儿子、一个姐妹,还有一段属于角色扮演人物的人生。
这篇实践最有价值的地方,是把个人记忆系统的难点拆开了:检索能找到记录,不代表记录属于这个人,更不代表它发生在现实里。模型调用便宜,清理这些错误却花掉了作者一个多小时。对准备给 AI 助手接入长期记忆的程序员,这比又一套向量检索教程更值得看。
先确定该查什么,再决定要不要用向量
作者搭了两个 Telegram bot 和一个 Mini App,共用一份记忆。Nexus 管任务、预算和日常事务,Arcana 管客户与业务记录,Mini App 提供人物卡片和事实审核界面。
技术栈是 Python、aiogram 3、FastAPI、Postgres + pgvector、Voyage embeddings;日常任务用 Claude Haiku,复杂任务用 Claude Sonnet。服务通过 Docker Compose 跑在一台 VPS 上,CI 测试通过后才部署。
最初的检索很简单:ILIKE '%word%' 匹配子串,按创建时间排序,找到的事实少于 3 条才启动向量搜索。结果问「我不吃什么」,却找不到完整的忌口记录。
改造后的第一步并不是换模型,而是用规则解析问题:问谁、问喜欢还是讨厌、名字是否存在别名。俄语名字会随语法变化,Sasha 和 Sashenka 也可能指向同一个人,需要先归并到人物卡片。
人物和问题类型都明确时,直接查 SQL。
生日从人物卡片读取,明确的喜好从结构化事实读取。只有其他问题才进入混合检索:
- Postgres 全文搜索(FTS)利用俄语词形处理找词,pgvector 配合 Voyage embeddings 找语义,两路并行。
- RRF(Reciprocal Rank Fusion)合并排名,每条事实累加两份结果中的
1 / (60 + rank),不用强行统一不同检索器的分数。 - Claude Haiku 对候选结果重排,只留下真正回答问题的事实。
- Haiku 生成列表和 JSON,每行附上依赖的事实 ids。代码检查这些 ids 是否存在、是否属于本次检索结果,没有支持的行就删除;流程失败时退回展示找到的事实。
每次请求还记录完整 trace:走了哪条路线、两路分别找到什么、重排留下什么、最终引用什么。
在 9 道合成问题上,recall@5 从子串搜索的 72%,升到混合 FTS + RRF 的 86%,加入问题解析后达到 100%。作者明确承认样本太小,它更适合检查流程有没有退化,不能当成通用性能成绩。
事实写得像真的,也可能记错了人
事实来自 TG Desktop 导出和 VK API。聊天切成窗口后交给 Haiku,输出事实文本、类型、原文引句和引句作者,再结合账号、姓名、别名关联人物。
每条事实还保留平台、日期、类别,以及 pending、confirmed、rejected 审核状态。一个人可以有多个账号,同名的人也必须能分开。
这里最关键的设计是保留原文。模型把「我不喝酒」改写成「不喝酒」后,事实还在,主语却丢了。作者的卡片因此混进朋友描述自己的内容,其中一位朋友贡献了 70 条。
作者先试过按俄语语法性别过滤。俄语过去式和部分形容词会体现性别,看起来可以据此区分说话者,实际误报很多:作者自己有时使用阳性表达,Haiku 转述时也会默认改成阳性。
后来改成检查原始引句的作者和语法人称。俄语动词即使省略代词,也可能通过词尾区分「我」「你」「他」。规则经过 6 轮调整,每轮都人工读样本,最终把 70 条事实归还给原主人,另外 50 条送入作者待核对队列,还发现一张人物卡片关联了别人的账号。
但归属正确,仍然可能内容失真。
角色扮演中的「我有一个儿子」,确实由作者发送,也确实使用第一人称,只是这里的「我」属于角色。作者既没有儿子,也没有姐妹,系统却都收进了个人履历。
引句作者解决的是谁说了这句话,不能单独证明这句话描述现实中的谁。
笑话、反讽、电影台词也有类似问题。作者因此让导入事实先进入 Pending,由人确认、拒绝或迁移归属。
模型省下的钱,最后花在审核上
清理归属后,作者自己的卡片仍有约 1,600 条事实,需要调整语法性别、分类和去重。
为了防止 Haiku 趁改写时顺便改掉含义,代码要求修改前后词数一致、数字一致,相似度不低于 80%。但这仍不够:模型曾把现在时改成过去时,也把第三人称表达改成第二人称,后者甚至通过了过滤器,最后靠人工校对发现。代词修改因此单独列出,逐条检查。
分类先走免费、确定性的关键词规则,处理约 2/3,其余交给 Haiku。问题也很直观:「努力学会爱自己」被放进工作类,「想养雪貂」被放进猫类,「26 岁」被放进家务类,而年龄本身还已经过期。作者选择按 id 定点修正,并在 Mini App 提供一键调整。
去重使用 embedding 余弦相似度,阈值 0.90,找出 155 组候选。但「喜欢咖啡」和「不喜欢咖啡」也可能非常接近,因此只生成候选,由人选择合并、保留区别,且允许撤销合并。
批量修改统一经过 dry-run、费用估算、写入本地的前后对照样本、人工审核和备份,再实际应用。
这轮清理的模型费用不到 2 美分,人工阅读却超过一小时。线上 bot 的整体费用约每周 0.7 美元;分类器每次携带相同的 14–16k token 前缀,缓存读取价格是普通输入的 10%。
作者还遇到过两次余额耗尽,因为多个项目共用一个 key。她给出的做法是脚本单独用 key、项目使用单独 workspace 并设置额度,以及遇到 billing error 时发 Telegram 告警。原文特别说明,Anthropic Console 的限额按 workspace 设置,不是按 key 设置。
我的判断
这套实践最值得借鉴的,是把记忆做成可追溯、可修正的数据,而不是一批只能继续追加的向量。原文、作者、日期、实体关系和审核状态,让错误有机会被定位和撤回。相比直接把聊天切块塞进向量库,这会增加建模和界面工作,但对需要长期维护的人物记忆更合适。
它的边界也很清楚。按语法人称归属在俄语中有额外帮助,不能照搬到经常省略主语、动词又没有相应词尾变化的中文聊天。9 道合成题不足以证明检索质量普遍提升,原文也没有提供归属准确率、人工审核吞吐量,或与其他方案的对照。这些部分仍是个人项目的经验之谈。
此外,检查引用 ids 只能证明答案引用了本次找到的事实,不能完整证明答案忠实表达了事实;词数和相似度校验也不能保证语义不变。它们适合拦截一部分错误,不能替代语义核对。
对于角色扮演,原文展示了现有流程的失败,但没有证明自动识别永远无效。增加会话标签、更长上下文可能有帮助,只是这里没有实验支持。当前能确认的结论是:单条引句加第一人称规则不够,人工审核必须有位置。
隐私方面也要分清:数据库在作者自己的服务器上,处理文本仍会经过模型 API。提示词要求只提取朋友的一般信息,并不等于敏感原文没有被发送。
能拿来做什么
- 给个人 AI 助手接入聊天记录时,把原文引句、发送者、时间、人物 id 和审核状态一起保存,并让新事实先进入待审核队列。
- 在 Node 服务的检索入口先识别人和问题类型。生日、明确喜好等结构化问题直接查库,语义不明确的问题再进入混合检索。
- 在前端管理界面提供确认、拒绝、改归属、改分类、合并与撤销操作,让用户能看到事实对应的原文,减少来回核对的成本。
- 把批量清理做成先预览后应用的任务,保存前后差异和备份;同时记录检索 trace,用有标准答案的小题集持续检查回归。