知识更新用 RAG,行为稳定再考虑微调
文章将提示词、RAG 与微调分别对应指令、推理时上下文和模型权重的调整。私有且常变、需要引用的知识适合 RAG,固定格式、领域风格和窄分类任务则可考虑微调,并可组合使用。
AI 深度解读
企业知识库答非所问,应该接 RAG,还是拿业务数据微调模型?作者给出的分界很实用:缺知识,用 RAG;行为不稳定,先改提示词,再考虑微调。两者可以组合,但解决的不是同一个问题。
这篇指南值得读的地方,是把选型落到了知识更新、引用、权限和评估上。不过,它没有提供性能或成本对照实验,后半段还带有课程推广。读的时候,要把工程建议、经验判断和商业推荐分开看。
缺的是知识,还是稳定执行要求的能力
RAG(检索增强生成)的工作方式,是先从文档索引里找相关资料,再把资料交给模型生成答案。原文追溯到 Lewis 等人在 2020 年发表的研究:语言模型与文档检索器配合,让回答有外部知识可用。
微调改变的是模型通过训练学到的行为倾向。比如,同一种输入总要输出固定结构,行业术语要保持统一,或者只做范围明确的分类、提取任务。
先分清错误来自缺知识,还是来自不按要求执行,再选技术。
产品价格、内部制度、故障处理手册经常更新,把这些事实交给 RAG 更合适。更新索引就能调整模型可用的资料,也方便展示引用。不同用户能看不同资料时,还可以把权限控制放进检索环节。
如果事实已经给全了,模型却仍然反复输出错误格式,或者分类标准执行不稳定,才更接近微调要处理的问题。作者还提出,针对范围窄、调用量大的任务,经过微调的小模型可能更便宜、更快。但原文没有给出模型、调用规模和成本数据,这只是值得验证的方向。
两者也能一起用:RAG 提供业务事实,微调后的模型负责遵守严格的输出格式。知识更新和行为优化可以分别处理。
为什么选型之前,要先准备测试集
作者建议的顺序是:先评估,再做提示词工程,仍不达标时才考虑微调。原文援引 OpenAI 的模型优化指南,强调不少任务只靠提示词就可能满足要求。
这个顺序能避免一种常见误判:看到几次回答不好,就决定换架构。没有固定测试集,你很难判断究竟是提示词没讲清、资料没检索到,还是模型执行能力不足。
对于 RAG,评估还要拆成两层。第一层看检索,相关资料有没有被找到;第二层看回答,是否忠实于资料、是否切题。作者推荐用 RAGAS 等工具,在固定测试集上持续检查这些指标。
微调同样需要高质量标注样本和独立评估集。训练完成不等于效果变好,必须用评估证明它比原来的方案更可靠。
这里还有一条需要单独核实的平台信息:原文称,截至 2026 年 10 月 29 日,OpenAI 的指南表示其微调平台正在收缩,且不再向新用户开放。本文未独立核验这一状态,不能把它直接当作当前平台事实。作者同时提醒,开放权重模型和其他供应商仍可作为微调路径,实际选型前应确认平台支持情况。
RAG 做不好,往往卡在数据链路
接上向量检索,并不等于有了可靠的知识助手。作者列出的故障,大多发生在资料进入模型之前。
文档切块如果只按长度硬切,可能把一个完整条件和它的例外拆开。作者建议按标题、章节等结构切分,并补充元数据。这样既能保留语义,也便于追踪来源和管理资料。
纯向量检索可能漏掉必须精确匹配的词。原文建议使用混合检索(hybrid search),把向量搜索与关键词搜索结合,再用重排序器(reranker)调整结果顺序。
有些问题需要连接多条事实,单次检索未必够用。可以考虑查询改写、多步检索,或者 GraphRAG。后者利用实体和关系构成的知识图谱,辅助处理跨事实关联问题;它不是所有知识库的必选项。
表格、扫描 PDF 也不能直接按普通文本处理。作者建议采用理解版面结构的解析方式;数字如果来自数据库,则考虑带约束与校验的 text-to-SQL。
安全同样属于这条链路。检索文本可能夹带隐藏指令,因此需要权限感知检索、个人身份信息(PII)脱敏和提示词注入防护。原文指出,提示词注入位列 OWASP Top 10 for LLM Applications 首项。
RAG 能减少幻觉,但不能保证答案正确。
检索质量好、提示词要求只依据来源作答,是减少错误的条件;答案评估和引用展示仍然需要保留。另外,RAG 需要索引,却不一定需要单独采购向量数据库,现有数据库的向量扩展或平台内置搜索也可以承担这个角色。
我的判断
我认同作者把知识和行为分开诊断,也认同先建立评估基线。相比一上来收集训练数据、启动微调,这条路径通常更容易定位问题发生在哪一环。
但「拿不准就先做 RAG,因为更便宜、更容易调试」有适用范围。知识密集型业务问答确实适合从这里开始;如果任务只是分类或固定字段提取,提示词就可能已经够用。RAG 本身也会引入文档解析、索引更新、权限同步和检索评估成本。
原文没有提供 RAG 与微调的准确率、延迟、成本对照,也没有披露团队实验过程。因此,小模型微调更划算、RAG 更适合先学等结论,应视为经验判断,不能当成通用收益承诺。
文章后半段明显在为课程导流:18 周课程把 RAG 放在第 4–7 周,把微调、小模型和成本工程放在第 15 周;另一门 8 周课程在第 3 周讲生产 RAG。这能说明作者倡导的学习顺序,不能证明该顺序对所有团队最优。原文也明确写了没有就业保证。
能拿来做什么
- 做产品文档或内部知识助手时,先收集一组真实问题、对应资料和期望答案,分别记录检索失败与回答失败,再决定改切块、搜索还是提示词。
- 用 Node 接分类、信息提取任务时,先验证提示词能否稳定满足格式与准确率要求;只有持续不达标,并且有高质量标注和评估集时,再比较微调方案。
- 给知识助手接入不同权限的资料时,把权限检查放进检索流程,同时展示答案来源,并用固定测试集持续检查资料更新后的回答质量。