开源应用支持本地大模型运行和 RAG 集成,适合隐私敏感或离线场景。
访问 Dot 网站
Dot 是一款独立的开源应用,旨在通过本地 LLM 和检索增强生成(RAG),让用户能够流畅地与文档和文件交互。它的设计灵感来自 Nvidia 的 Chat with RTX 等解决方案,并为没有编程背景的用户提供了友好的操作界面。Dot 默认使用 Phi-3.5 LLM,开箱即用,简单易上手。
Dot 允许你将多个文档加载到 LLM 中,并在完全本地化的环境里与它们交互。支持的文档类型包括 PDF、DOCX、PPTX、XLSX 等!对于与文档内容没有直接关系的问题,用户还可以与 Big Dot 交流,体验类似于使用 ChatGPT。
该应用基于 Electron JS 构建,使用 FAISS 创建本地向量存储,并通过 Langchain、llama.cpp 和 Huggingface 搭建对话链。此外,它还使用了其他工具来管理文档并实现交互。
访问 Dot 网站,即可下载适用于 Apple Silicon 或 Windows 的应用。
克隆仓库:$ https://github.com/alexpinel/Dot.git
安装 Node js,然后在项目仓库中运行 npm install。如果在这一阶段遇到任何问题,可以运行 npm install --force。完成后,进入 cd aadotllm,再运行一次 npm install!
选择 LLM——已完成!
增强文档感知能力,不局限于文档内容
简化文件加载流程(可以选择单个文件,而不只是文件夹)
提高使用本地 LLM 时的安全措施
支持更多文档类型——已完成!
提供高效的文件数据库管理,更快访问不同文件组
非常欢迎大家贡献!作为一名利用业余时间维护这个项目的学生,任何帮助我都会由衷感激。无论是编写代码、完善文档,还是提出功能建议,都欢迎参与进来!