基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-17 14:17

RAG 引用之外,还要追踪证据版本

dev.to · AI#RAG#数据溯源
Editor brief · 编辑速览

文章区分引用与来源追溯:引用能指向支持材料,却未必记录源文档版本、检索事件及后续变更。文中提出相关架构与指标,但明确它们是工程建议,并非标准或实测基准。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

AI 回答附了引用,链接能打开,原文也确实支持结论,这套 RAG 系统就可靠吗?作者提出了一个更难的问题:来源后来修订、撤回或删除,系统还能继续把旧答案当成当前建议吗?

这篇文章的结论是:引用只能说明答案指向哪里,溯源记录还要说明它经过了哪些处理、用了哪个版本,以及来源变化后该清理什么。文章没有提供实测基准,给出的是一套工程方案。对正在做知识库问答、文档助手的程序员,它最有用的地方,是把「引用看起来可信」拆成了可以记录和验证的系统行为。

引用支持答案,不等于解释了答案怎么生成

作者先区分了三种关系:Supports(answer, source) 表示来源支持结论;ObservedInContext(source, generation_run) 表示来源确实进入了这次生成的上下文;DependsOn(answer, source) 则表示答案依赖该来源。

第一种需要检查内容,第二种可以通过执行日志记录,第三种通常需要改变输入再做实验。把它们统一存成 source_used: true,后续就无法判断这个「用过」究竟是什么意思。

引用成立,不代表生成过程已经被解释清楚。

例如,一段文档支持「重试应使用带随机抖动的指数退避」,并不能证明模型生成前读到了它,更不能证明没有这段文档,答案就会不同。

检索日志也有类似陷阱。初始召回 top-20,重排后只选了五个 chunk,拼接上下文时又截掉一部分,三份记录对应的是三个不同阶段。真正需要记录的,是最终交给生成调用的上下文,并结合隐私和保留期限决定保存方式。

原文提到 ALCE 会评估答案正确性和引用质量,但没有把它当成完整的生成因果审计。这个边界很关键:证明一句话有依据,与证明模型为什么说出这句话,是两项任务。

来源要记录版本,处理过程也要记录版本

作者借用了 W3C PROV 的建模思路,把对象、处理活动和责任主体分开:来源修订版、chunk、答案属于实体;切分、检索和生成属于活动;负责执行的服务属于主体。

不必因此引入 RDF 或图数据库。先把关系保存清楚,就已经有用。

下面这段结构把来源一路连接到答案缓存,解决的是「某个版本变化后,要沿着哪里追查」:

source:policy
    │ has_revision
    ▼
revision:r17
    │ chunked_into
    ▼
chunk:c91
    │ included_in
    ▼
context:ctx44
    │ supplied_to
    ▼
generation:g28
    │ produced
    ▼
answer:a63
    │ served_as
    ▼
cache_entry:k12

要看清 included_in 这一行:进入上下文,只能证明被交给模型,不能证明它支持某项结论。经过核验的结论级引用,还要另存 claim:a63:2 到 chunk:c91 的 supported_by 关系。

URL 也不能充当版本号。同一地址可能持续更新,所以来源记录需要区分 source_id、revision_id、canonical_url,并保存 content_sha256、retrieved_at 和 status。哈希可以帮助确认记录的是哪个内容版本,却不能证明作者身份、内容真实性或使用许可;正文清洗规则不同,算出的哈希也可能不同。

下面的 chunk 记录进一步解决了「来源没改,为什么两次构建结果不同」:

{
  "chunk_id": "chunk_c91",
  "revision_id": "rev_r17",
  "chunker_version": "chunker_v3",
  "parser_version": "parser_v2",
  "text_sha256": "<digest-of-chunk-text>",
  "embedding_model": "<configured-model-version>"
}

这里要特别看 parser_version:即使来源不变,解析器漏掉一段警告,下游知识也已经变化。切分大小、重叠范围和 embedding 模型版本同样会影响结果。

更新和删除,最终都要检查答案还能不能被提供

有了依赖关系,来源更新就不只是重新入库。旧 chunk、检索缓存、答案缓存,以及相关评测,都可能需要处理。

作者建议先采用保守规则:缓存答案记录生成上下文里的全部来源版本,只要其中一个版本失效或过时,就让该答案缓存失效。这样可能多清一些缓存,但只追踪展示出来的引用,会漏掉没有被引用、却进入过上下文的内容。

更新、权限撤销和删除也不能共用一种处置。历史政策答案可能适合审计留档;收到有效删除要求后,同样的保留方式却未必允许。关系记录负责定位,具体策略决定如何处理。

删除范围可能包括文档库、向量索引、关键词索引、检索缓存、答案缓存、临时文件、评测副本、受治理日志,以及按保留策略到期的备份。原文明确说,这是一份候选清单,并非每个应用都有这些存储。

删除状态也应分步记录:Requested、Access blocked、Active-store purge completed、Verification completed、Backup expiry pending、Closed under policy。应用已经搜不到,与所有保留副本都已物理删除,是不同的完成声明。

最能暴露问题的测试,是先导入一版合成政策,生成并缓存答案,再发布修订版,逐条检查这些服务路径:

  • 新检索生成的答案是否采用修订内容。
  • 精确匹配缓存和语义缓存是否仍返回旧结论。
  • 已有对话状态和后台生成摘要是否仍携带旧内容。

作者定义修正延迟为 L = t_verified serving change - t_accepted source update。起点必须讲清楚:如果入库任务每小时才跑一次,只从入库完成开始计时,就隐藏了发现更新的等待时间,应分别观察发现延迟和下游传播延迟。

索引更新成功,只能证明更新流程走到了一站。

我的判断

我赞同作者把优先级放在版本、上下文记录和缓存依赖上。相比先给引用按钮加更多展示信息,这些能力更直接地决定旧知识会不会继续影响用户。但原文没有实现成本、吞吐影响或对照数据,保守失效策略是否适合高流量系统,仍是经验建议。

文章提出的归因实验也有价值:在私有合成语料中写入「Oriole 队列最多重试 13 次」,再比较原始来源可用、原始来源移除但衍生来源可用、两者都移除三种条件。记录事实是否出现、答案是否正确、归因指向谁,并重复试验、报告次数。

不过,从语料库删除文档,测试的是检索到生成的完整链路;从固定上下文删除段落,测试的是受控输入下的生成变化。两者不能混着解释。替代来源也可能提供同一个事实,因此答案没变,不能直接证明被删来源原先没有作用。

评测同样不宜压成一个信任分。supported claim–citation pairs / evaluated claim–citation pairs 衡量的是已评估引用对的支持情况,不能替代全部结论的支持覆盖率。归因查不清时,应标为 unresolved,与 correct、incorrect、not_applicable 分开报告。

还有两条边界需要保留:来源自称原创,不等于已经核实原创;作者被正确署名,也不等于获得访问或经济收益。溯源记录本身需要区分流水线观察、来源声明、检测器推断和人工审核,不能存进图里就当成事实。

能拿来做什么

  • 给 Node 知识库后端补齐稳定来源 ID、不可变修订 ID,以及 parser、chunker 和 embedding 模型版本,让同一语料两次构建的差异有迹可查。
  • 在生成调用处记录最终上下文及其版本,并把答案缓存关联到这些版本;初期可以采用作者建议的保守失效规则。
  • 用 Oriole 队列重试上限为 13 次的合成文档建立固定测试,分别检查答案正确性、引用支持情况和来源移除后的变化,保留无法判断的结果。
  • 增加一次修订传播集成测试,覆盖检索、两类答案缓存、已有对话和后台摘要;删除流程则分别验证访问阻断、活动存储清理和备份等待状态。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
业务 Agent 如何建立评测改进闭环
下一篇
让编程智能体跨会话保留项目经验

资讯速览

dev.to · AI · 2026-11-17 14:17

AI 评分 8.0 / 10

相关标签

#RAG#数据溯源

继续阅读

  • 两个真实 RAG 项目的检索与转人工实践
  • 业务 Agent 如何建立评测改进闭环
  • 让编程智能体跨会话保留项目经验
  • Anthropic 将高危漏洞披露期缩至30天
  • 用校验与有限重试守住模型输出入口