基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
开源项目2026-11-18 02:19

Cairnly 开源了一条可追溯的 RAG 链路

dev.to · AI#开源#混合检索#RAG
Editor brief · 编辑速览

Cairnly 将 MDX 课程切分为带章节锚点的片段,借助 PostgreSQL 和 pgvector 实现关键词与向量混合检索,再融合并重排结果。系统在生成前检查置信度,流式输出的答案附有原文章节引用。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Cairnly 把 6 条学习路线、126 节 MDX 课程和一个 AI 导师放进同一个开源项目,给开发者提供了一套能从内容入库读到答案生成的 RAG 实现。对想做文档问答的前端和全栈开发者,最有参考价值的是作者公布的两组拒答数据。阈值从 0.70 降到 0.66,系统少拒了 64 道正常问题,同时多回答了 4 道题库之外的问题。

从 MDX 到带引用的回答,中间做了什么

Cairnly 先把 MDX 课程切成带小节锚点的片段,生成向量嵌入(embedding),再用 PostgreSQL 和 pgvector 存储。锚点把检索片段和课程页面连起来。前端收到流式答案后,可以把引用指向具体小节,读者点开就能核对上下文。

检索分两路。关键词搜索能抓住用户输入的术语,向量搜索则能找到措辞不同但意思相近的内容。倒数排名融合(Reciprocal Rank Fusion,RRF)根据片段在两份榜单里的名次合并结果,省去了直接比较两套原始分数的麻烦。接着用交叉编码器(cross-encoder)把问题和候选片段放在一起打分,重新排序。候选内容通过置信度阈值后,系统才生成并流式输出带引用的答案。

MRR 达到 0.914,为什么还要测拒答

作者用 627 道题评估检索,报告的平均倒数排名(Mean Reciprocal Rank,MRR)是 0.914。这个指标看第一条相关内容排在第几位。排第 1 得 1 分,排第 2 得 0.5 分,再对所有题取平均。它能告诉你相关片段通常能否排到前面。引用是否支持答案里的具体说法,需要另外验证。

语料没有覆盖的问题也可能搜到看起来相关的内容,所以作者还测了生成前的拒答阈值。

置信度阈值 拒答的正常问题 回答的题外问题(共 150 道)
0.70 96 道 0 道
0.66 32 道 4 道

这两组结果让取舍变得具体。教育助手误拒时,读者可能得回去翻课程。它回答题外问题时,读者又可能误以为答案来自课程。原文没交代阈值用的是哪一步的分数,也没说明这 150 道题外问题和 627 道检索评估题的关系。

我的判断

我认同把检索排名和拒答分开测。相比单看 MRR,阈值表更容易拿来做产品决策,因为它把误拒和越界回答的代价摆在了一起。0.66 和 0.70 的表现来自 Cairnly 自己的评估。换了课程库、题集或打分方式,就得重新测。

至于是否需要把混合检索、RRF 和交叉编码器全部接上,文中只给了整套链路的结果,没给纯向量检索或去掉重排后的对照,也没交代延迟。对小型文档库,我会先把纯向量检索当基线,再看混合检索和重排分别找回了哪些漏掉的片段。是否值得增加链路,要看这些改动能解决多少实际问题,以及流式回答的首字等待时间会增加多少。

能拿来做什么

  • 给 MDX 切片保留页面路径和小节锚点,让前端把答案里的引用直接渲染成可跳转的小节链接。
  • 为课程问答准备有依据的问题和语料未覆盖的问题,分别记录首条相关片段的排名、正常问题的误拒数和题外问题的回答数。
  • 在 Node 服务的生成入口前设拒答阈值。用同一批题跑多个候选值,逐条看新增的越界回答,再决定能接受多少误拒。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
编程 Agent 的沙箱管不住外部服务
下一篇
在 SageMaker 部署和微调 OpenTSLM

资讯速览

dev.to · AI · 2026-11-18 02:19

AI 评分 8.0 / 10

相关标签

#开源#混合检索#RAG

继续阅读

  • 实测三款编程智能体常装错依赖版本
  • 编程 Agent 的沙箱管不住外部服务
  • 在 SageMaker 部署和微调 OpenTSLM
  • Copilot Fusion 增加模型并公开跑分
  • Copilot 应用支持企业仓库和浏览器