用 Python 搭建可追溯页码的本地 PDF 问答
示例用 pypdf 提取文本并保留页码,通过多语言嵌入模型和 FAISS 检索片段,再交给兼容 OpenAI API 的本地模型生成答案。切块长度按嵌入模型的输入上限设置,扫描版 PDF 需要先做 OCR 并核对结果。
AI 深度解读
想让本地大模型回答「这份 PDF 的退款条件是什么」,可以先找出最相关的几段文字,再把它们连同问题交给模型。原文用 Python、FAISS 和兼容 OpenAI API 的本地模型服务器搭了这样一条 RAG 流程。
对开发者来说,最有用的是它保留了每段文字的文件名和页码。答错时,你可以先核对检索结果,再看模型有没有读错。作者给出了实现示例,文中没有报告准确率、延迟或对照实验。
PDF 能不能搜,先看每页提取出了什么
示例把 PDF 放在 docs 目录,用 pypdf 逐页提取文字,页码从 1 开始。依赖安装命令是 pip install pypdf sentence-transformers faiss-cpu requests numpy。每个切出的文本块都记录文件名和页码,向量写入 documents.faiss,原文片段和位置一起写入 UTF-8 编码的 metadata.json。检索返回的是索引位置,所以向量、文本块和元数据的顺序必须对齐。
扫描件要先做 OCR,把页面图像转成文字。表格和脚注多的文件也要抽几页对照原文,看看提取出来的文字是否还保留了正确的阅读顺序。目录里没有 PDF,或者所有页面提取结果都为空,后面的嵌入或建索引就可能失败。
为什么每块取 100 个 token,还要重叠 20 个
示例用 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 把文本变成可比较的数值向量。作者查到该模型的输入上限是 128 个 token,于是用模型自带的分词器切出最多 100 个 token 的片段,相邻片段重叠 20 个,实际每次向前走 80 个。重叠能让靠近切分点的文字在相邻片段里保留一些上下文。遇到标题、段落或长句,仍要考虑语义边界。换嵌入模型时,也要重新检查它的输入上限。
下面这段代码把问题转成向量,取最接近的 4 个文本块,并给每段附上文件名和页码。
question = "환불 조건은 무엇인가요?"
q = model.encode([question], normalize_embeddings=True).astype("float32")
scores, ids = index.search(q, 4)
context = "\n\n".join(
f"[{meta[i]['file']} p.{meta[i]['page']}]\n{chunks[i]}"
for i in ids[0]
if i >= 0
)
normalize_embeddings=True 要和建库时保持一致。文档和问题都归一化后,IndexFlatIP 用内积得到的排序等同于余弦相似度排序。if i >= 0 只过滤无效索引,示例没有用 scores 判断命中的文字够不够相关。如果所选模型支持查询和文档各自的编码方式,作者建议使用对应接口。
检索到的文字怎么交给本地模型
下面的请求用 requests.post 把检索片段和问题一起交给本地模型,并在提示词里要求模型只依据文档作答,证据不足时说不知道。
import requests
prompt = f"문서 근거만 사용해 답하세요. 근거가 없으면 모른다고 하세요.\n문서:\n{context}\n질문: {question}"
LOCAL_LLM_URL = "http://127.0.0.1:8000/v1/chat/completions"
LOCAL_LLM_MODEL = "YOUR_SERVER_MODEL_NAME" # 替换为服务器实际注册的模型名
response = requests.post(
LOCAL_LLM_URL,
json={
"model": LOCAL_LLM_MODEL,
"messages": [{"role": "user", "content": prompt}],
},
timeout=120,
)
print(response.json())
LOCAL_LLM_URL 和 LOCAL_LLM_MODEL 要按实际服务器填写。Ollama 或 llama.cpp server 都可作为候选,模型大小和量化方式由运行环境决定。timeout=120 是示例设置的请求超时。检索结果为空时,调用方应先处理这个状态,避免把空上下文当成证据。
我的判断
我会优先保留出处。对 PDF 问答来说,能点回原页核对一条退款条件,比看到一段流畅的回答更有用。示例只是把页码放进提示词,并打印 API 返回的 JSON。要让用户稳定看到出处,可以在界面上直接展示命中的片段和页码,再让用户对照答案。
100/20 和取前 4 条都可以当起步配置。作者没有给出不同切块、召回数量或搜索方式的对照数据,相关取舍属于经验之谈。条款编号、错误码这类需要精确匹配的内容,可以先用关键词搜索。用户常用自己的话提问时,再看向量搜索能不能补回关键词漏掉的段落。少量文档用文件保存就能验证流程,出现大量文档、过滤或按用户权限检索的需求时,再评估存储和访问控制。
能拿来做什么
- 先挑几份日常会查的 PDF,用已知答案和原文页码写几道问题。先看前 4 条有没有找对页,再单独检查模型答得对不对。
- 做前端问答页时,把文件名、页码和命中原文放在答案旁边,并让用户能打开 PDF 的对应页。
- 如果用 Node 封装问答接口,让空检索和本地模型请求失败各自返回明确的状态,前端就能给出对应反馈。