7.0
热点
AI SCORE
开源项目2024-01-21 23:53
初学者友好的 RAG 开源库 Top 5
DEV Community · Namee#RAG#开源#入门教程
Editor brief · 编辑速览
汇总 5 个低学习曲线的 RAG 开源库，适合程序员快速上手检索增强生成技术实现。
作为开发者，当今最有价值的技能之一是学会如何使用大语言模型（LLM）构建检索增强生成（RAG）应用。
因为世界上存在超过64泽字节的数据，这还不包括书籍或纸质文档等物理数据。（供参考，1泽字节等于1万亿GB。）
不仅如此，全球90%的数据是在过去两年内创建的，数据量也每两年翻倍增长。基本上，公司正在大量数据的海洋中遨游，数据量每天都在不断增长。
公司将如何访问和使用所有这些数据？
到现在为止，每个人都听说过使用检索增强生成（RAG）来通过AI查找信息。能够访问和使用不断增长的数据量是每家公司需要掌握的关键技能。
即使你知道RAG基本上是一种描述将文档或知识链接到LLM工作流的简写方式，许多开发者迄今为止还没有自己尝试或体验过。
互联网上充满了各种库的列表，但该如何开始呢？
以下是帮助你开始使用RAG的最佳库的简短列表。
在LLMWare中，你可以上传文档，只需几行代码就可以开始检索信息。它处理RAG所需的整个过程：文档摄取、解析、分块、索引、嵌入、存储到向量数据库，以及链接到LLM以检索答案。
LLMWare被设计为一个集成的端到端解决方案，所有这些步骤开箱即用。它组装了所有的组件，你不需要自己做。
LLMWare让开始变得非常简单和容易：
声明：我是LLMWare的创始人
MongoDB是一个广泛使用的开源NoSQL数据库程序。它属于面向文档的数据库类别，这意味着它以类似JSON文档的格式存储和组织数据。MongoDB被设计为灵活且可扩展的，适用于各种应用和行业。
数据库（如MongoDB）在RAG中是非常重要的一步，因为它们在嵌入之前存储从文档或知识库中提取的信息，包括重要的元数据。
Milvus是一个开源向量数据库，用于支持嵌入相似度搜索和AI应用。Milvus使非结构化数据搜索更易于访问，并在不同的部署环境中提供一致的用户体验。
Milvus DB或类似的向量数据库是RAG中的关键一步。这是存储向量嵌入用于相似度搜索的地方。这个数据库允许人们用自然语言提问并检索相关结果。没有好的嵌入和向量数据库，LLM模型将无法接收要读取的正确文本块。
如果你还没有访问过Hugging Face，你真的应该去看看。它是获取所有开源模型的地方，独自将世界从AI垄断中拯救出来。就像Github是开源项目的地方，Hugging Face就是开源模型的地方。有超过450,000个模型，全部免费，任何人都可以使用。
Hugging Face的Transformers Library是一个必备库，提供数千个预训练模型，用于在文本、视觉和音频等不同模式上执行任务。
这些模型可以应用于：
Transformer模型还可以在多种模式的组合上执行任务，例如表格问答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问答。
⭐️ Star Hugging Face ⭐️
没有GPU？没问题！llama.cpp来拯救！
llama.cpp的主要目标是在MacBook上使用4位整数量化来运行LLaMA模型。
量化后，较大的模型可以在CPU上运行，性能损失很少。寻找GGUF版本的模型来与LLMWare或其他RAG工作流一起使用。
这是一个非常基础的概览，帮助你开始使用RAG。如果你想要一个集成的解决方案，一个所有这些库无缝协作的一站式商店，请访问LLMWare的GitHub库，找到50多个很好的示例来帮助你开始。
在Discord上找到我们——我们很乐意听到你的声音！
请一定访问我们的网站llmware.ai了解更多信息和更新。