2024 年 RAG 完整学习路径：从入门到精通

似乎每个人都在担心，AI 会如何抢走我们的工作。

但令人意外的是，真正深入了解如何在实际场景中使用 AI 模型的人少之又少，甚至连最基础的内容都没有接触过。

如今，大多数技术人员应该都听说过 RAG——Retrieval Augmented Generation（检索增强生成）。简单来说，RAG 就是一种把文档或某种知识源连接到 AI 模型的方法。

如果你想到的场景只是把 5 份文档交给 ChatGPT，这听起来确实很简单。但如果任何个人或公司需要处理成千上万、数万，甚至数百万个文件，那就是完全不同的问题了。

几乎所有公司都会遇到这个问题。因此，我非常提倡每个人至少应该对 RAG 有一个基础认识，因为这是使用 AI 模型时必须掌握的基础知识之一。

在 2024 年提升你的 AI 技能

正因如此，我们 LLMWare 团队制作了一系列免费的 YouTube 分步教学视频，讲解 RAG 的基础要素。通过 7 个短视频——每个视频时长为 8 到 15 分钟——你就能学会 RAG。注意：需要具备基础的 Python 知识。

和生活中的任何事情一样，只要你认真对待，这些内容就能成为你迈向 AI 专家的起点。即使你并不打算成为 AI 专家，了解 RAG 各个组成部分的工作原理，也一定会让你受益匪浅，因为许多公司都将采用这类工作流。

准备好开始了吗？RAG 简介

这段 RAG 入门视频将带你了解 RAG 的基本组成部分，帮助你从 LLMWare 开启自己的 AI 之旅。

1. 解析、文本分块与索引

创建你的第一个 library，并从基本步骤开始。library 中的文档需要先被解析成统一格式，再拆分成较小的文本片段（chunking），最后连同全部 metadata 一起建立索引。本视频将带你完成这一过程。

什么是 embeddings、embedding models、vectors 和 vector databases？在本教程中，你将学习 embeddings、embedding models、vectors 和 vector databases 背后的基本概念。

你将使用 Hugging Face 的模型创建自己的第一批 embeddings，把它们存入数据库，并使用这些 embeddings 执行查询。

学习如何从 Hugging Face 和 OpenAI 加载模型，并通过 prompt 与模型交互。

通过这个示例开始进行模型推理，并了解如何根据传入的 context，检查模型是否给出了正确答案。你还将学习如何记录模型的使用数据，例如 token 消耗量、输出结果以及总处理时间。

4. 使用文本查询的 RAG

从这个视频开始，你将真正进行搜索。我们会使用 library 中已经生成 embeddings 的某类知识，并通过模型把这些部分组合起来。

学习如何制定合适的 RAG 策略：采用经过周密设计的检索与查询策略，并搭配适合完成任务的模型。

5. 使用语义查询的 RAG

到这里，你已经取得了很大的进展。现在，你已经可以开始进行语义搜索了。语义搜索也称为自然语言查询，正是在这一阶段，我们能够真正发挥 embeddings 和 vector databases 的优势。

你将能够使用自然语言查询自己的知识库，通过提问，从哪怕最复杂的法律文档中推导出答案。

6. 使用多步骤混合查询的 RAG

毕业日到了！（如果你一直跟着学习到了这里。）我们会快速回顾此前视频中学到的全部内容，并学习如何在笔记本电脑上使用 Hugging Face 提供的量化 DRAGON-YI-6b-GGUF 模型。

执行多步骤混合查询，获得你需要的响应。

你还将学习如何进行证据验证（防止模型产生幻觉），以及如何把所有输出保存为 JSON 或 CSV 文件，供未来制作数据集或审计使用。

完成这些视频后，你就可以继续深入探索 Generative AI 中各种真正有趣的内容了，其中包括构建复杂的 Agent 工作流。

欢迎查看我们的 GitHub 仓库，并为我们点亮一个 Star：llmware-ai/llmware

欢迎加入我们的 Discord：邀请码 MgRaZz2VAB

请务必访问我们的网站 llmware.ai，获取更多信息和最新动态。

如需采取进一步措施，你可以考虑屏蔽此人和／或举报滥用行为。