从检索到评估,理解 RAG 应用链路
文章解释如何通过嵌入、向量检索和上下文注入,让模型回答私有或更新后的知识问题。内容覆盖完整处理流程、常见失效环节,以及基础系统的搭建与评估。
AI 深度解读
模型能流畅回答问题,不代表它知道你们刚更新的接口文档、内部工单和退款规则。RAG 的做法是:先由程序找到相关资料,再交给模型组织答案。知识更新主要发生在索引里,不必每次都重新训练模型。
这篇原文把 RAG 从切块、向量化讲到检索、生成和评估。最值得程序员带走的结论是:效果好坏往往取决于资料如何处理、能否找对,以及有没有认真验收。接上一个聊天界面,只完成了其中一环。
RAG 的分工:程序查资料,模型读资料
RAG 是 Retrieval-Augmented Generation,即检索增强生成。一次问答可以拆成三步:搜索知识库,把相关段落放进提示词,再让模型依据这些段落回答,最好同时标明出处。
在原文描述的基础 RAG 流程里,检索由你的代码执行,模型负责阅读和生成。
它有两条工作链路。提前执行的索引阶段负责收集 PDF、网页、Wiki、工单和数据库记录,清洗后切块,将每块转换成嵌入向量(embedding),连同原文一起保存。每次提问时,再用同一个 embedding 模型处理问题,寻找距离最近的文本块,然后拼接提示词调用语言模型。
embedding 通常由几百到几千个数字组成。模型让语义相近的文本在向量空间里靠近,所以「如何重置密码」可以匹配「忘记登录凭证」,即使字面上并不相同。
常见的距离度量是余弦相似度(cosine similarity):结果接近 1,表示方向接近、语义相似;接近 0,表示相关性弱。如果向量已经归一化,余弦相似度就等于点积,可以简化计算。
但语义相近不等于精确命中。错误码、产品 SKU、名字和标识符,恰恰可能是关键词搜索更擅长的部分。这也是后续需要混合检索的原因。
切块和数据管理,为什么比选数据库更先决定效果
把一本 200 页的手册压成一个向量,会把不同主题混在一起。切得太细也有问题:「它必须每年续期」离开前文,连「它」是什么都不知道。
原文建议从几百个 token 一块、相邻块适当重叠开始,再根据文档结构调整。标题、段落和代码函数边界,往往比固定长度更能保住完整语义。作者给出的简易 Go 切块函数实际按 strings.Fields 分词,因此示例中的 size 和 overlap 统计的是分词结果,并不是模型 token;不能直接把示例参数当成 token 配置。
每块还应该带上来源、标题、章节、页码和日期。这些元数据既用于引用,也用于排除旧版本、筛选产品,以及控制访问权限。
存储反而可以先简单一点。原文认为,几千个文本块可以逐个计算相似度;到百万级,再考虑近似最近邻(ANN)索引,用少量精度换速度。HNSW 是其中一种方案,通过分层图结构靠近目标区域,避免扫描全部向量。
已有 PostgreSQL 的团队,可以先使用 pgvector。下面的查询展示了如何按问题向量取出最接近的 5 条记录:
SELECT id, content, source FROM chunks ORDER BY embedding <=> $1 -- cosine distance to the query embedding
LIMIT 5;
要看清 ORDER BY embedding <=> $1:这里按余弦距离排序,距离越小越靠前。LIMIT 5 只是示例配置,不是所有知识库的最佳值。
Qdrant、Weaviate、Milvus、Pinecone 是专用向量数据库选项;FAISS、SQLite 向量扩展和内存列表也能承担原型工作。原文的取舍很实用:先用现有基础设施,等规模或性能提出明确要求,再增加系统。
从演示走向可用,要补哪些环节
基础版 RAG 往往是「向量化,再取最相近的五块」。它能做出演示,但生产问题通常出在候选资料的质量上。
原文提出了几类改进。混合检索将语义搜索与 BM25 等关键词搜索合并,补上错误码和标识符的精确匹配能力。重排序则先低成本取出较多候选,例如 30 块,再用更准确但更慢的 reranker 逐一判断,留下最相关的几块。
查询改写解决的是问题不完整。「第二个方案呢」依赖聊天历史,直接拿去搜索很难命中,需要先补成独立问题。给文本块加上文档或章节的简短说明,也能帮助它脱离上下文后保持可理解。
元数据过滤应当发生在相似度排序之前,先限制产品、日期、语言和访问级别。比如问「2024 退款政策」,语义上很接近的 2022 年版本仍然可能答错。
权限必须在检索层执行,不能指望模型看到资料后替你保密。
检索之后,提示词需要要求模型只依据给定内容回答,缺少依据时承认不知道,并使用 [doc-3] 这样的来源标识。但提示词不是保证书:模型仍可能误读、混入已有知识,或者给出没有依据的推论。上下文也不宜无限堆积,原文提醒,长输入中间的材料可能得不到充分关注。
复杂问题还可能需要 agentic retrieval,由 agent 阅读结果后继续搜索。不过它增加延迟和复杂度。对于「汇总所有事故报告的趋势」这种全局分析,少量相似段落覆盖不了全集,预计算摘要或结构化查询更合适。
资料本身也需要维护:更新、去重、删除缺一不可。来自不可信文档的「忽略之前指令」属于提示词注入风险,尤其当系统会依据检索结果执行操作时,需要额外防护。
我的判断
我赞同原文把 RAG 视为一条工程流水线。它把不少容易被模型表现掩盖的问题,重新放回数据处理、检索和验证上,对做内部文档助手的前端、全栈团队很有参考价值。
但这是一篇原理和实践建议文章,没有展示作者团队的完整实验、数据集、延迟或成本对照。「多数失败来自检索」「重排序回报很高」「按结构切块往往更好」,都应当视为待验证的经验判断,不能直接当成自己项目的结论。
验收也要拆开。检索阶段看正确段落有没有进入前 k 条结果,即 recall at k,以及排名是否靠前;生成阶段再看回答是否正确、是否忠于上下文、是否回应问题、引用是否真的支持结论。否则一次回答错误,很难定位该改哪里。
和替代方案相比,RAG 适合持续变化、规模较大、需要出处或权限控制的知识。微调更适合调整行为、风格、格式或某种窄技能,并不适合可靠地灌入事实。小规模资料则可以先试长上下文直接输入,流程更简单,但 token 增加会带来成本和延迟,超长输入的准确性也可能下降。
原文没有给出三者的量化比较。具体怎么选,仍要依据自己的资料规模和任务验证;检索与长上下文也可以组合使用。
能拿来做什么
- 做 Node 文档问答原型时,先选一小批项目文档,完成提取、切块、来源标注和检索。第一版只打印命中的段落,人工检查它们是否足以回答问题,再接生成接口。
- 为项目整理 30 到 50 个真实问题,并标注预期答案来源。原文的周末项目建议先写 30 道题;每次更换 embedding 模型、切块大小或加入重排序,都用同一批题重新比较。
- 如果知识库包含错误码、接口标识符或多个版本的文档,优先验证关键词混合检索与元数据过滤。先解决找错对象、找错版本的问题,再判断是否需要更复杂的 agent。
- 给问答界面展示可核验的来源,并允许系统回答「资料中没有找到」。涉及内部资料时,后端必须按当前用户权限过滤检索结果,同时维护索引的更新和删除流程。