基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-21 17:25

知识更新用 RAG,行为稳定再考虑微调

dev.to · AI#RAG#微调#架构选型
Editor brief · 编辑速览

文章将提示词、RAG 与微调分别对应指令、推理时上下文和模型权重的调整。私有且常变、需要引用的知识适合 RAG,固定格式、领域风格和窄分类任务则可考虑微调,并可组合使用。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

企业知识库答非所问,应该接 RAG,还是拿业务数据微调模型?作者给出的分界很实用:缺知识,用 RAG;行为不稳定,先改提示词,再考虑微调。两者可以组合,但解决的不是同一个问题。

这篇指南值得读的地方,是把选型落到了知识更新、引用、权限和评估上。不过,它没有提供性能或成本对照实验,后半段还带有课程推广。读的时候,要把工程建议、经验判断和商业推荐分开看。

缺的是知识,还是稳定执行要求的能力

RAG(检索增强生成)的工作方式,是先从文档索引里找相关资料,再把资料交给模型生成答案。原文追溯到 Lewis 等人在 2020 年发表的研究:语言模型与文档检索器配合,让回答有外部知识可用。

微调改变的是模型通过训练学到的行为倾向。比如,同一种输入总要输出固定结构,行业术语要保持统一,或者只做范围明确的分类、提取任务。

先分清错误来自缺知识,还是来自不按要求执行,再选技术。

产品价格、内部制度、故障处理手册经常更新,把这些事实交给 RAG 更合适。更新索引就能调整模型可用的资料,也方便展示引用。不同用户能看不同资料时,还可以把权限控制放进检索环节。

如果事实已经给全了,模型却仍然反复输出错误格式,或者分类标准执行不稳定,才更接近微调要处理的问题。作者还提出,针对范围窄、调用量大的任务,经过微调的小模型可能更便宜、更快。但原文没有给出模型、调用规模和成本数据,这只是值得验证的方向。

两者也能一起用:RAG 提供业务事实,微调后的模型负责遵守严格的输出格式。知识更新和行为优化可以分别处理。

为什么选型之前,要先准备测试集

作者建议的顺序是:先评估,再做提示词工程,仍不达标时才考虑微调。原文援引 OpenAI 的模型优化指南,强调不少任务只靠提示词就可能满足要求。

这个顺序能避免一种常见误判:看到几次回答不好,就决定换架构。没有固定测试集,你很难判断究竟是提示词没讲清、资料没检索到,还是模型执行能力不足。

对于 RAG,评估还要拆成两层。第一层看检索,相关资料有没有被找到;第二层看回答,是否忠实于资料、是否切题。作者推荐用 RAGAS 等工具,在固定测试集上持续检查这些指标。

微调同样需要高质量标注样本和独立评估集。训练完成不等于效果变好,必须用评估证明它比原来的方案更可靠。

这里还有一条需要单独核实的平台信息:原文称,截至 2026 年 10 月 29 日,OpenAI 的指南表示其微调平台正在收缩,且不再向新用户开放。本文未独立核验这一状态,不能把它直接当作当前平台事实。作者同时提醒,开放权重模型和其他供应商仍可作为微调路径,实际选型前应确认平台支持情况。

RAG 做不好,往往卡在数据链路

接上向量检索,并不等于有了可靠的知识助手。作者列出的故障,大多发生在资料进入模型之前。

文档切块如果只按长度硬切,可能把一个完整条件和它的例外拆开。作者建议按标题、章节等结构切分,并补充元数据。这样既能保留语义,也便于追踪来源和管理资料。

纯向量检索可能漏掉必须精确匹配的词。原文建议使用混合检索(hybrid search),把向量搜索与关键词搜索结合,再用重排序器(reranker)调整结果顺序。

有些问题需要连接多条事实,单次检索未必够用。可以考虑查询改写、多步检索,或者 GraphRAG。后者利用实体和关系构成的知识图谱,辅助处理跨事实关联问题;它不是所有知识库的必选项。

表格、扫描 PDF 也不能直接按普通文本处理。作者建议采用理解版面结构的解析方式;数字如果来自数据库,则考虑带约束与校验的 text-to-SQL。

安全同样属于这条链路。检索文本可能夹带隐藏指令,因此需要权限感知检索、个人身份信息(PII)脱敏和提示词注入防护。原文指出,提示词注入位列 OWASP Top 10 for LLM Applications 首项。

RAG 能减少幻觉,但不能保证答案正确。

检索质量好、提示词要求只依据来源作答,是减少错误的条件;答案评估和引用展示仍然需要保留。另外,RAG 需要索引,却不一定需要单独采购向量数据库,现有数据库的向量扩展或平台内置搜索也可以承担这个角色。

我的判断

我认同作者把知识和行为分开诊断,也认同先建立评估基线。相比一上来收集训练数据、启动微调,这条路径通常更容易定位问题发生在哪一环。

但「拿不准就先做 RAG,因为更便宜、更容易调试」有适用范围。知识密集型业务问答确实适合从这里开始;如果任务只是分类或固定字段提取,提示词就可能已经够用。RAG 本身也会引入文档解析、索引更新、权限同步和检索评估成本。

原文没有提供 RAG 与微调的准确率、延迟、成本对照,也没有披露团队实验过程。因此,小模型微调更划算、RAG 更适合先学等结论,应视为经验判断,不能当成通用收益承诺。

文章后半段明显在为课程导流:18 周课程把 RAG 放在第 4–7 周,把微调、小模型和成本工程放在第 15 周;另一门 8 周课程在第 3 周讲生产 RAG。这能说明作者倡导的学习顺序,不能证明该顺序对所有团队最优。原文也明确写了没有就业保证。

能拿来做什么

  • 做产品文档或内部知识助手时,先收集一组真实问题、对应资料和期望答案,分别记录检索失败与回答失败,再决定改切块、搜索还是提示词。
  • 用 Node 接分类、信息提取任务时,先验证提示词能否稳定满足格式与准确率要求;只有持续不达标,并且有高质量标注和评估集时,再比较微调方案。
  • 给知识助手接入不同权限的资料时,把权限检查放进检索流程,同时展示答案来源,并用固定测试集持续检查资料更新后的回答质量。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
按任务分配模型,用结果成本衡量收益
下一篇
扫描二十二万条 MCP 工具描述后的安全发现

资讯速览

dev.to · AI · 2026-11-21 17:25

AI 评分 8.0 / 10

相关标签

#RAG#微调#架构选型

继续阅读

  • Agent 架构选型:工作流连接还是状态推理
  • 按任务分配模型,用结果成本衡量收益
  • 扫描二十二万条 MCP 工具描述后的安全发现
  • Axion开源模型用三阶段训练挑战商业Agent
  • 把智能体禁令变成工具权限与执行约束