离线 RAG 如何只引用真正支撑答案的文件
作者分享在 AMD GPU 上构建离线文档 RAG 的设计,要求答案仅引用必要文件,而非附上全部检索结果。实现强调逐文件隔离解析失败、跳过不可读文件,并保留表格行列标签等关键上下文。
AI 深度解读
RAG 回答下面挂着五条来源,并不代表这五条都支撑了答案。作者参加 AMD AI League 的 RAG 挑战时,面对的是更严格的要求:返回答案,以及得出答案必需的文件,多一份、少一份都不行,整套系统还要在 AMD GPU 上离线运行。
这份方案值得看的地方,是它把杂乱文件、编号检索、版本冲突和引用校验串成了一条流程。对做企业知识库的程序员来说,模型之外的这些处理,往往更值得检查。
文件能进索引,还得保住它的上下文
作者拿到的目录混有 PDF、DOCX、PPTX、XLSX、CSV、日志、源码和截图,PDF 还可能是扫描件、损坏文件或加密文件。
他们采用逐文件隔离处理:每个文件独立尝试,读不了就记录并跳过,避免一份坏 PDF 拖垮整个索引过程。加密文件还有一条硬规则:没有密码、没有读到内容,就不能列为来源。
解析时也不能只顾提取文字。作者直接通过标准库读取 DOCX、PPTX 压缩包中的 XML,包括表格;电子表格则保留行列标签,让「Q3 revenue」继续贴着对应数字。数字还在、含义丢了,同样无法可靠回答问题。
截图和扫描页交给运行在 ROCm 上的 Qwen2.5-VL-7B,在建索引时转录成标签与数值对,随后和普通文本一起检索。这样省去了一套独立 OCR 流程,但原文没有给出转录准确率,也没有说明复杂图表如何验证。
找到相关段落,为什么还不够
公司资料里的 ORR-1847、THERM_ALERT# 往往是连接不同文件的线索。普通分词器把它们拆开后,检索可能失去精确匹配能力。作者在 BM25 中保留完整标识符,并称这解决了一类漏检问题,但没有提供召回率数据。
有些问题还需要两跳检索。例如「日志里的事故由哪个版本修复」:第一跳找到日志,第二跳沿着问题词附近的标识符,继续查缺陷数据库等定义文件。日志负责确认事故,另一份文件负责提供修复版本,两者承担不同的证据角色。
版本也参与检索判断。遇到 policy_r1.pdf、policy_r2.pdf,以及标题带有 WITHDRAWN 的文件,索引器会把旧版或撤回文件标为 SUPERSEDED,让模型看到状态;文件冲突时优先采用当前版本。不过,作者没有展开说明怎样可靠识别所有版本关系。
引用要回答「为什么少不了这份文件」
模型以 JSON 返回答案值、所需文件和证据行,后面再由代码检查:文件是否包含答案,或者包含通向答案的标识符;是否应优先使用当前文档;第二份文件是否补上了第一份缺少的信息。
引用数量应由证据缺口决定。
查不到答案时,系统返回空答案和空引用。这个设计把「没有证据」变成正常结果,避免模型为了完成回答硬凑来源。
运行层面,作者使用官方 rocm/pytorch 基础镜像,以 --no-deps 安装 transformers,防止 pip 换入 CUDA 版 PyTorch。模型只加载一次,驻留服务通过 Unix socket 接收请求,每次查询只承担检索和一次生成的开销。索引与回答都不联网,代码以 MIT 协议开源。
我的判断
我赞同把引用当成需要校验的输出字段。相比直接展示检索排名前五的片段,这种做法更贴近用户真正关心的问题:答案究竟依赖哪些证据。
但「代码检查」不等于已经证明引用正确。文件含有相同编号,只能说明存在关联,未必能证明它支持某个结论;原文没有公开校验细节,也没有给出引用准确率、延迟或对照实验。因此,这是一份有价值的实现经验,效果仍需在自己的语料上验证。
同样,单个视觉语言模型替代独立 OCR 是否划算,要看截图类型、转录质量和索引成本。原文没有提供两条路线的比较,不能据此判断哪条普遍更好。
能拿来做什么
- 给文档导入流程增加逐文件异常隔离,并记录跳过原因;损坏、加密和未知格式都应留下可检查的记录。
- 为知识库中的工单号、错误码建立检索样例,检查分词后还能否完整匹配;存在跨文件关联时,再尝试第二跳检索。
- 在问答接口中分别返回答案、文件和证据行,并加入「语料无答案」与「新旧版本冲突」的验证样例。
- 在 AMD 离线部署中参考 rocm/pytorch、--no-deps 和模型常驻方案,再用实际查询测量资源占用与响应时间。