开源工具：用GPT-2+FAISS实现PDF智能检索

PdfGptIndexer 登上了 Hacker News 榜首！

PdfGptIndexer 是一款高效工具，使用 OpenAI embeddings 和 FAISS（Facebook AI Similarity Search）对 PDF 文档进行索引和查询。它实现了一套 RAG（Retrieval Augmented Generation，检索增强生成）系统，让你能够与自己的 PDF 文档进行智能对话。该软件专为快速检索信息而设计，同时具备出色的搜索准确性。

PdfGptIndexer 由两个主要组件构成：

1. Indexer（indexer.py）——一次性处理 PDF

Indexer 会处理你的 PDF 文档，并创建一个可搜索的向量数据库：

• 提取文本：使用 PyMuPDF 从文件夹中的所有 PDF 文件中提取文本
• 文本分块：使用 LangChain 的 RecursiveCharacterTextSplitter 将文档拆分成便于处理的文本块（每块 1000 个字符，块之间重叠 200 个字符）
• 生成 Embeddings：使用 OpenAI 的 text-embedding-ada-002 模型为每个文本块创建向量 embeddings
• 本地存储：将 embeddings 保存到磁盘上的 FAISS 索引中，以便快速检索

2. Chatbot（chatbot.py）——交互式问答界面

Chatbot 提供了一个智能界面，用于查询已建立索引的文档：

• 加载索引：从磁盘加载预先计算好的 FAISS 向量索引
• 语义搜索：将你的问题转换为 embedding，并找出相似度最高的 3 个文档文本块
• 显示匹配结果：展示匹配文档的相似度分数和文本片段
• 生成答案：使用 GPT-4，根据检索到的上下文整合生成连贯的答案

在本地存储 Embeddings 的优势

在本地存储 embeddings 有以下几个主要好处：

• 速度：由于 embeddings 已经预先计算完成，检索速度会显著提升，无需为每次查询重新生成
• 离线访问：完成初次创建后，无需通过互联网访问 OpenAI 即可查询数据（只有生成答案时需要调用 API）
• 节省成本：只需计算一次 embeddings，之后便可重复使用，从而节省 API 成本
• 可扩展性：能够处理大型文档集合，而实时处理这些文档的成本往往非常高

克隆仓库：

git clone https://github.com/raghavan/PdfGptIndexer.git
cd PdfGptIndexer

安装依赖：

pip install -r requirements.txt

pip install langchain langchain-openai langchain-community langchain-text-splitters openai pymupdf faiss-cpu python-dotenv tiktoken

在项目根目录创建 .env 文件，并添加你的 OpenAI API key：

OPENAI_API_KEY=your_openai_api_key_here

将 PDF 文件放入 pdf/ 文件夹，或者你选择的任意文件夹。

第 1 步：为 PDF 建立索引

运行 Indexer 来处理 PDF，并创建向量数据库：

python indexer.py

也可以指定自定义 PDF 文件夹：

python indexer.py /path/to/your/pdfs

还可以同时指定自定义 PDF 文件夹和索引保存位置：

python indexer.py /path/to/your/pdfs /path/to/save/index

• 从文件夹中的所有 PDF 提取文本
• 创建包含元数据的文本块
• 使用 OpenAI 生成 embeddings
• 将 FAISS 索引保存至 faiss_index/，或你指定的位置

注意：你只需运行一次；当文档集合中新增 PDF 时，再重新运行即可。

第 2 步：查询文档

启动交互式 Chatbot：

python chatbot.py

也可以指定自定义索引位置：

python chatbot.py /path/to/your/index