基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 16:59

用 Python 搭建可追溯页码的本地 PDF 问答

dev.to · AI#检索增强生成#本地模型#PDF
Editor brief · 编辑速览

示例用 pypdf 提取文本并保留页码,通过多语言嵌入模型和 FAISS 检索片段,再交给兼容 OpenAI API 的本地模型生成答案。切块长度按嵌入模型的输入上限设置,扫描版 PDF 需要先做 OCR 并核对结果。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

想让本地大模型回答「这份 PDF 的退款条件是什么」,可以先找出最相关的几段文字,再把它们连同问题交给模型。原文用 Python、FAISS 和兼容 OpenAI API 的本地模型服务器搭了这样一条 RAG 流程。

对开发者来说,最有用的是它保留了每段文字的文件名和页码。答错时,你可以先核对检索结果,再看模型有没有读错。作者给出了实现示例,文中没有报告准确率、延迟或对照实验。

PDF 能不能搜,先看每页提取出了什么

示例把 PDF 放在 docs 目录,用 pypdf 逐页提取文字,页码从 1 开始。依赖安装命令是 pip install pypdf sentence-transformers faiss-cpu requests numpy。每个切出的文本块都记录文件名和页码,向量写入 documents.faiss,原文片段和位置一起写入 UTF-8 编码的 metadata.json。检索返回的是索引位置,所以向量、文本块和元数据的顺序必须对齐。

扫描件要先做 OCR,把页面图像转成文字。表格和脚注多的文件也要抽几页对照原文,看看提取出来的文字是否还保留了正确的阅读顺序。目录里没有 PDF,或者所有页面提取结果都为空,后面的嵌入或建索引就可能失败。

为什么每块取 100 个 token,还要重叠 20 个

示例用 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 把文本变成可比较的数值向量。作者查到该模型的输入上限是 128 个 token,于是用模型自带的分词器切出最多 100 个 token 的片段,相邻片段重叠 20 个,实际每次向前走 80 个。重叠能让靠近切分点的文字在相邻片段里保留一些上下文。遇到标题、段落或长句,仍要考虑语义边界。换嵌入模型时,也要重新检查它的输入上限。

下面这段代码把问题转成向量,取最接近的 4 个文本块,并给每段附上文件名和页码。

question = "환불 조건은 무엇인가요?"
q = model.encode([question], normalize_embeddings=True).astype("float32")
scores, ids = index.search(q, 4)
context = "\n\n".join(
    f"[{meta[i]['file']} p.{meta[i]['page']}]\n{chunks[i]}"
    for i in ids[0]
    if i >= 0
)

normalize_embeddings=True 要和建库时保持一致。文档和问题都归一化后,IndexFlatIP 用内积得到的排序等同于余弦相似度排序。if i >= 0 只过滤无效索引,示例没有用 scores 判断命中的文字够不够相关。如果所选模型支持查询和文档各自的编码方式,作者建议使用对应接口。

检索到的文字怎么交给本地模型

下面的请求用 requests.post 把检索片段和问题一起交给本地模型,并在提示词里要求模型只依据文档作答,证据不足时说不知道。

import requests

prompt = f"문서 근거만 사용해 답하세요. 근거가 없으면 모른다고 하세요.\n문서:\n{context}\n질문: {question}"
LOCAL_LLM_URL = "http://127.0.0.1:8000/v1/chat/completions"
LOCAL_LLM_MODEL = "YOUR_SERVER_MODEL_NAME"  # 替换为服务器实际注册的模型名
response = requests.post(
    LOCAL_LLM_URL,
    json={
        "model": LOCAL_LLM_MODEL,
        "messages": [{"role": "user", "content": prompt}],
    },
    timeout=120,
)
print(response.json())

LOCAL_LLM_URL 和 LOCAL_LLM_MODEL 要按实际服务器填写。Ollama 或 llama.cpp server 都可作为候选,模型大小和量化方式由运行环境决定。timeout=120 是示例设置的请求超时。检索结果为空时,调用方应先处理这个状态,避免把空上下文当成证据。

我的判断

我会优先保留出处。对 PDF 问答来说,能点回原页核对一条退款条件,比看到一段流畅的回答更有用。示例只是把页码放进提示词,并打印 API 返回的 JSON。要让用户稳定看到出处,可以在界面上直接展示命中的片段和页码,再让用户对照答案。

100/20 和取前 4 条都可以当起步配置。作者没有给出不同切块、召回数量或搜索方式的对照数据,相关取舍属于经验之谈。条款编号、错误码这类需要精确匹配的内容,可以先用关键词搜索。用户常用自己的话提问时,再看向量搜索能不能补回关键词漏掉的段落。少量文档用文件保存就能验证流程,出现大量文档、过滤或按用户权限检索的需求时,再评估存储和访问控制。

能拿来做什么

  • 先挑几份日常会查的 PDF,用已知答案和原文页码写几道问题。先看前 4 条有没有找对页,再单独检查模型答得对不对。
  • 做前端问答页时,把文件名、页码和命中原文放在答案旁边,并让用户能打开 PDF 的对应页。
  • 如果用 Node 封装问答接口,让空检索和本地模型请求失败各自返回明确的状态,前端就能给出对应反馈。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
文件锁冲突会让部分编程智能体停工
下一篇
SWE-sweep 测试编程智能体自主找错和修复

资讯速览

dev.to · AI · 2026-11-20 16:59

AI 评分 8.0 / 10

相关标签

#检索增强生成#本地模型#PDF

继续阅读

  • 用音频、弹幕和低帧率视频定位直播高光
  • 文件锁冲突会让部分编程智能体停工
  • SWE-sweep 测试编程智能体自主找错和修复
  • 企业 AI 助手的五道权限检查
  • Docker编程沙箱支持本地和云端迁移