让 RAG 学会拒答,并量化误拒代价
该补充剂证据问答项目结合混合检索、原文摘录、确定性校验、模型评审和一次修复,决定引用作答或拒答。项目公开代码及独立评测集;作者报告迭代集上的拒答均合理,但约 45% 可回答问题也被拒绝。
AI 深度解读
一个面向膳食补充剂的 RAG,检索了 17,698 篇 PubMed 证据级文章,却把「拒绝回答」当成关键能力:研究支持才回答,每条主张标注来源 PMID,超出语料覆盖范围就停下。
作者更想证明的是:这些拒答到底对不对。结果并不轻松:golden 测试中没有危险回答漏过,但约 45% 可回答的问题也被拒绝了。它值得读,因为它把 RAG 的可靠性问题拆成了可以测量、定位和修正的工程问题。
怎样把「有证据才回答」落到流程里
这套系统先做门控,再通过 BM25 与稠密检索召回内容,用 RRF 融合结果。BM25 偏向关键词匹配,稠密检索补充语义匹配;RRF 用排名融合两路结果。
下面这段流程展示了回答如何经过约束、验证和修复,最终进入回答或拒答分支:
gate → hybrid retrieve (BM25 + dense, RRF) → answer contract
→ deterministic verify + judge → one repair pass
→ answer with citations, or abstain
要留意第三行:流程的终点包含明确的拒答出口。第二行则规定只做一次修复,不是无限重试直到生成答案。
默认路径采用「抽取优先」(extractive-first):引用研究原文,而不是先生成一段流畅解释。每条主张附带对应的 PMID,也就是 PubMed 文献标识符。
每次运行还会保存门控决定、检索片段、逐条主张的来源标记和验证结论,并提供公开追踪地址。这样排查错误时,能看到问题发生在哪一步。不过,原文没有展开 answer contract 的具体字段,也没说明 judge 的实现方式。
没有危险回答,为什么还要继续修
作者把评测拆成两个互不重叠的集合:
golden.jsonl包含 126 个分层问题,用于日常迭代。heldout.jsonl包含 199 个问题,只测量,不参与调优。
两组结果出现分歧时,作者会将其视为过拟合信号。这个划分的价值在于,规则不能只在反复看过的题目上有效。
问题来自 SuppLLMent 的有效性条目和 MedQuAD 的消费者问题,但有一道准入门槛:BM25 必须能检索到相关证据。最终 4,026 个问题入池,1,543 个被排除,原因保存在 rejected.jsonl。
golden 运行中,作者报告所有拒答均正确,没有危险回答漏过;同时,约 45% 可回答条目也遭到了拒答。没有危险回答通过,不等于系统已经会正确回答。
原文没有给出「拒答正确」的完整判定口径,因此不能把这两个描述简单理解成同一个准确率指标。
作者将误拒原因部分归于验证器过严,部分归于生成过程的不确定性,随后增加了救援步骤:系统已经拒答,但排名靠前的证据看起来足够相关时,再检查一次这些证据是否真正回答了问题。
加入救援后,advice-decline 类别的挽回比例从 20% 升到 36%;可回答类别仍在约 22%。作者认为其中一些问题确实缺少覆盖,但没有解释该类别的具体定义,也没给出上述百分比的完整分母,暂时不宜把它们推广成通用效果。
我的判断
我赞同它把「危险地回答」和「过度拒答」分开测量。只盯回答率,容易鼓励猜测;只盯安全结果,又可能把大量拒答当成成功。抽取优先和逐条 PMID 标记,也让回答更方便核查,但引用存在本身不能证明结论成立,仍要检查证据是否支持主张。
这份评测有一个明显前提:问题入池前,已经通过了 BM25 能找到证据的筛选。它适合检验有证据时系统能否利用证据,却不足以单独证明系统能识别真实用户提出的所有语料外问题。被排除的问题不一定只是噪声,它们也可能用于测试拒答边界。
另外,原文没有展示 held-out 的具体结果,也没有与纯生成、仅检索或其他验证方案做对照。救援步骤有局部改善,但目前仍是作者项目中的实验结果,不能据此认定这套组合普遍更优。
能拿来做什么
- 给知识库助手的评测同时记录危险回答和可回答问题的误拒,避免只用回答率判断效果。
- 在 Node 编写的 RAG 服务中保存检索片段、逐条引用和验证结果,让一次错误回答能够被追查。
- 为前端交互明确设计拒答状态,并展示可核查的证据来源,让用户知道系统停在哪里。
- 将日常调优集与独立评测集分开,并单独保留无证据问题,检验系统是否真的守住语料边界。