用 Ragas 分辨检索与生成故障

RAG 答错了，问题出在检索还是生成？dev.to 的一篇教程介绍了如何用开源 Python 评测框架 Ragas，把这两段流程拆开检查。教程围绕四项指标展开，并给出 Ragas 0.4.3 的接口示例。对正在做知识库问答的程序员来说，它的价值是给排查问题提供更具体的入口。

目前能确认什么

RAG（检索增强生成）先检索资料，再让模型根据资料回答。答案出错，既可能是资料没找全，也可能是模型拿到了资料却没有正确使用。

教程把评测分为两组：

• 忠实度：回答中的陈述是否得到检索内容支持。
• 答案相关性：回答是否回应了用户的问题。
• 上下文精确率：相关片段是否排在检索结果前面。
• 上下文召回率：回答所需的信息是否被检索覆盖。

按文中介绍，前两项可在没有参考答案时先跑；后两项所用的评测方式需要参考答案，才能判断检索是否充分、排序是否合理。

接口也有版本门槛。教程针对 Ragas 0.4.3，使用 ragas.metrics.collections、llm_factory() 和 SingleTurnSample，并提醒旧版教程存在兼容问题。

我的判断

先拆开看检索与生成，才有依据决定下一步改哪里。

回答忠实但不相关，可以优先检查生成环节是否偏题；检索精确率高、召回率低，则需要检查信息是否遗漏、分块是否切断了答案。但这些分数只能缩小排查范围，不能直接证明某个组件有问题。

教程列出的阈值不适合直接变成上线门槛。更具体的做法是固定一批问题，记录当前系统的分数，再对照错误样本校准标准。

评判模型给出的分数也是估计值。

更换评判模型后，应重新建立基线，否则分数变化可能来自裁判。现有材料也不足以确认示例代码所需的完整依赖配置；接口能否直接运行，仍需对应版本文档或实际执行验证。