检索证据失真,智能体仍可能自信作答
DeepStress 通过批量污染检索文档,测试智能体面对不可信证据时的表现。摘要指出,即使文档明确标示可信度极低,受测系统在许多运行中仍给出确定答案,暴露出常规正确率评测的盲区。
AI 深度解读
检索结果已经明显不可信,AI 搜索代理却仍然给出确定答案。DeepStress 揭示的风险是:答案正确率看起来很稳定,系统却未必知道什么时候该停止作答。
这项研究通过人为破坏检索文档,观察代理如何应对证据质量下降。对做知识库问答、文档助手的程序员来说,它提醒我们:评估除了检查「答对多少」,还要检查「证据不够时会不会硬答」。
答案没变差,为什么仍然是个问题
不少检索增强生成(RAG)评估默认,检索回来的材料即使不完全正确,至少也有一定参考价值。随后,评估只看最终答案对不对。
这个流程漏掉了一件事:代理是否会根据证据质量调整自己的行为。
原文指出,即使文档带着非常明显、甚至有些夸张的低可信度信号,所有受测系统仍会在不少轮次里输出确定答案。在文档可信度为 0% 的条件下,这种现象依然存在。
答对问题,不等于正确使用了证据。
系统可能得出了正确结论,却没有表现出对不可靠材料应有的谨慎。至于它究竟依赖了模型已有知识,还是通过其他路径得出答案,提供的原文没有说清,不能仅凭正确率推断。
因此,标题里的「失去信心」容易让人误读。正文呈现的核心问题恰好是:证据可信度下降,代理却没有相应增加拒答,仍然表现得过于确定。
DeepStress 测出了什么,又没有测出什么
DeepStress 的做法,是有意、大规模地破坏来源文档,再观察深度搜索代理的表现。它改变了常规评估的前提:检索结果不再被默认视为可靠的事实基础。
Search-R1 是原文给出的具体例子。在整个可信度范围内,它的正确率始终处于 78% 到 80%,拒答率也没有明显变化。
单看正确率,这似乎说明系统很能扛干扰;结合拒答行为看,问题就出现了:来源越来越不可信,系统继续作答的倾向却没有明显改变。评估需要区分「还能答对」和「知道当前证据不足」这两种能力。
但这项结果有明确边界:
- 实验只覆盖 HotpotQA 和 BrowseComp-Plus,不能直接代表所有检索任务。
- 文档退化是合成的,尚未确认真实环境中的噪声是否产生相同结果。
- 研究没有确认这一现象是否延续到更大的模型家族。
- 评估聚焦最终答案的置信表现,没有覆盖推理过程中的不确定性信号。
原文也没有提供全部受测系统名单、具体退化方式,以及各系统在 0% 可信度下的拒答比例。因此,可以确认风险存在于受测条件中,却不能据此给生产助手统一判定。
我的判断
我赞同它对评估方式的提醒。知识库助手如果只按答案正确率验收,就可能把「证据已经失效,仍然继续回答」的行为藏起来。尤其当产品展示引用来源时,用户容易把「有引用」理解成「有可靠依据」。
相比只检查引用是否存在,进一步检查引用是否可信、是否支持结论,更贴近这项研究指出的问题。
不过,原文提出的「低于最低可信阈值就强制拒答」,属于治理建议,不能当成已经验证有效的方案。材料没有说明可信度如何计算、阈值如何选择,也没有给出误拒答与错误作答之间的对照数据。
可信度过滤值得尝试,但阈值是否有效,仍要靠具体任务验证。
同样,也不能据此断言某种提示词技巧、记忆增强路由或更大模型一定能解决问题。原文明确保留了这些未知项。它提供的是一类需要补上的压力测试,而非完整的生产落地答案。
能拿来做什么
- 给文档问答或知识库助手补一组检索压力测试,主动提供错误、互相冲突或明显低可信的材料,同时记录正确率和拒答率。
- 在验收表里单独检查「证据不足时是否继续下结论」,不要让最终答案偶然正确掩盖证据使用问题。
- 如果要在 Node 服务层增加可信度过滤,先定义评分依据和拒答条件,再用业务样本验证阈值;不要把 DeepStress 的实验可信度直接当成线上评分。
- 排查 AI 助手时,把检索材料、最终答案与拒答行为一起留档,便于区分检索质量问题和代理未能响应证据质量的问题。