用向量记忆与分支对话搭建 AI 工作台
作者介绍基于 Next.js、Supabase 和 pgvector 构建多模型工作台的架构,通过结构化记忆提取保存项目背景。树状对话用于隔离调试支线,减少反复补充上下文和支线讨论对主任务的干扰。
AI 深度解读
多模型聊天工具并不难找,难的是换模型后还能记住项目约定,临时排查问题时又不把主线聊乱。作者独立开发的 BryDepth,尝试用可管理的长期记忆和树状对话解决这两个问题。
这篇值得看的地方是产品与架构如何配合:Supabase pgvector 负责按需找回记忆,父子消息树负责分开探索路径。不过,原文没有检索准确率、成本或效果对照,适合当作设计思路参考,不能当成已经验证的性能方案。
长期记忆应该存什么,又该怎样找回来
作者此前同时付费使用 ChatGPT、Claude 和 Gemini。按他的描述,对话超过几千 tokens 后,模型就可能忘记项目架构、编码偏好和早先决策,迫使他反复粘贴上下文。这是个人使用体验,原文没有提供具体测试条件。
BryDepth 的做法是把需要长期保留的信息抽取出来,存进 Supabase,底层使用 PostgreSQL + pgvector。
这套流程分成两步:先把对话中的信息整理成结构化记忆;用户再次提问时,再将问题转换成向量,通过语义检索找出相关记忆。向量可以理解为供系统比较语义接近程度的数字表示。
作者称记忆共有 7 个结构化类别,但只列出了技术偏好、活跃项目、架构决策、工作流和目标这 5 类。其余两类,以及抽取、去重、更新冲突的处理方式,原文都没说清。
检索还使用了行级安全策略(Row-Level Security,RLS)进行隔离。这里要分清两件事:语义检索决定找回哪些内容,RLS 约束用户能访问哪些数据。配置正确的权限策略,才是用户隔离成立的前提。
更值得借鉴的是记忆库的控制权:用户可以查看、编辑、批准或清空抽取结果。长期记忆需要可纠正,否则一次误读就可能持续影响后续回答。
树状聊天怎样减少上下文干扰
普通聊天把所有消息排成一条线。讨论架构时插入一个边界问题,再追问几个报错,后续请求就可能携带大量偏离主线的信息。作者把它称为「线性污染」。
BryDepth 将每条消息存成带父子关系的节点。用户可以从任意 AI 回复分出子对话,尝试另一种实现、排查错误或展开构思,然后回到主分支。
它的价值在于让探索路径有明确边界。例如讨论组件方案时,可以另开分支研究一种替代实现,主线继续保留原先的讨论方向。
不过,**消息存成树,并不自动等于上下文隔离。**真正发给模型哪些祖先消息、是否读取其他分支、分支结论如何回到主线,都需要额外实现。作者宣称能做到零上下文污染,但没有给出请求组装逻辑。
模型切换则沿用同一工作区的记忆状态。作者的任务分工是:
- Gemini 2.5 Flash 用于快速迭代和大上下文综合。
- GPT-4o 用于通用推理和结构化输出。
- Claude 3.7 Sonnet 用于深入代码重构和架构规划。
这些是作者的选型判断,原文没有同任务对照数据,也没有说明是否实现自动路由。能够切换模型,不代表系统已经能自动选出合适的模型。
我的判断
我更认可这套设计把「记住什么」和「沿哪条路径讨论」拆开处理。前者解决信息复用,后者控制探索范围,比单纯扩大上下文窗口更容易让用户理解和管理。
但向量记忆也有代价:抽取可能出错,检索可能漏掉关键约束,旧决策可能与新决策冲突。对于必须遵守的项目规则,显式维护的项目文档更容易审查;对于不断变化、难以预先整理的信息,语义记忆才更有吸引力。两者可以配合。
原文标题提到 Next.js,正文却没有展开应用结构、流式响应或树形界面的实现。它是一份架构介绍和产品推广,还不是可以照着复刻的工程教程。
作者还说,最困难的部分是斯里兰卡独立开发者接入全球支付。他最终集成 Dodo Payments,使用深色浮层结账,提供不自动续费的预付费 30 天通行证。文中另有无需信用卡的 14 天免费试用,以及未来 30 天使用 LAUNCH30 获得 30% 上线折扣。这些属于原文发布时的促销描述,不能据此确认现在仍然有效。
能拿来做什么
- 给现有 AI 编程工具增加记忆时,先选技术偏好、项目约束等少量信息,并提供查看、修改和删除入口,再逐步扩大自动抽取范围。
- 实现树状聊天时,把消息父子关系与模型请求组装一起设计,明确每次请求读取哪些节点,避免界面分支了、上下文仍然混在一起。
- 如果用 Supabase pgvector 保存多人记忆,应同时检查语义检索结果与 RLS 权限隔离;找得准和读不到别人的数据,是两项独立要求。
- 评估多模型工作区时,用自己的重构、结构化输出等任务做比较,记录回答质量、耗时和费用,再决定是否采用作者的模型分工。