Cairnly 开源了一条可追溯的 RAG 链路
Cairnly 将 MDX 课程切分为带章节锚点的片段,借助 PostgreSQL 和 pgvector 实现关键词与向量混合检索,再融合并重排结果。系统在生成前检查置信度,流式输出的答案附有原文章节引用。
AI 深度解读
Cairnly 把 6 条学习路线、126 节 MDX 课程和一个 AI 导师放进同一个开源项目,给开发者提供了一套能从内容入库读到答案生成的 RAG 实现。对想做文档问答的前端和全栈开发者,最有参考价值的是作者公布的两组拒答数据。阈值从 0.70 降到 0.66,系统少拒了 64 道正常问题,同时多回答了 4 道题库之外的问题。
从 MDX 到带引用的回答,中间做了什么
Cairnly 先把 MDX 课程切成带小节锚点的片段,生成向量嵌入(embedding),再用 PostgreSQL 和 pgvector 存储。锚点把检索片段和课程页面连起来。前端收到流式答案后,可以把引用指向具体小节,读者点开就能核对上下文。
检索分两路。关键词搜索能抓住用户输入的术语,向量搜索则能找到措辞不同但意思相近的内容。倒数排名融合(Reciprocal Rank Fusion,RRF)根据片段在两份榜单里的名次合并结果,省去了直接比较两套原始分数的麻烦。接着用交叉编码器(cross-encoder)把问题和候选片段放在一起打分,重新排序。候选内容通过置信度阈值后,系统才生成并流式输出带引用的答案。
MRR 达到 0.914,为什么还要测拒答
作者用 627 道题评估检索,报告的平均倒数排名(Mean Reciprocal Rank,MRR)是 0.914。这个指标看第一条相关内容排在第几位。排第 1 得 1 分,排第 2 得 0.5 分,再对所有题取平均。它能告诉你相关片段通常能否排到前面。引用是否支持答案里的具体说法,需要另外验证。
语料没有覆盖的问题也可能搜到看起来相关的内容,所以作者还测了生成前的拒答阈值。
| 置信度阈值 | 拒答的正常问题 | 回答的题外问题(共 150 道) |
|---|---|---|
| 0.70 | 96 道 | 0 道 |
| 0.66 | 32 道 | 4 道 |
这两组结果让取舍变得具体。教育助手误拒时,读者可能得回去翻课程。它回答题外问题时,读者又可能误以为答案来自课程。原文没交代阈值用的是哪一步的分数,也没说明这 150 道题外问题和 627 道检索评估题的关系。
我的判断
我认同把检索排名和拒答分开测。相比单看 MRR,阈值表更容易拿来做产品决策,因为它把误拒和越界回答的代价摆在了一起。0.66 和 0.70 的表现来自 Cairnly 自己的评估。换了课程库、题集或打分方式,就得重新测。
至于是否需要把混合检索、RRF 和交叉编码器全部接上,文中只给了整套链路的结果,没给纯向量检索或去掉重排后的对照,也没交代延迟。对小型文档库,我会先把纯向量检索当基线,再看混合检索和重排分别找回了哪些漏掉的片段。是否值得增加链路,要看这些改动能解决多少实际问题,以及流式回答的首字等待时间会增加多少。
能拿来做什么
- 给 MDX 切片保留页面路径和小节锚点,让前端把答案里的引用直接渲染成可跳转的小节链接。
- 为课程问答准备有依据的问题和语料未覆盖的问题,分别记录首条相关片段的排名、正常问题的误拒数和题外问题的回答数。
- 在 Node 服务的生成入口前设拒答阈值。用同一批题跑多个候选值,逐条看新增的越界回答,再决定能接受多少误拒。