8.0
热点
AI SCORE
技术实践2026-11-21 20:45
生产级 RAG 怎么测检索、生成和权限
dev.to · AI#RAG#评测#访问控制
Editor brief · 编辑速览
用贴近真实流量的固定测试集,分别衡量检索排序、回答的证据支撑和引文有效性。调整分块或重排策略时做消融实验,同时检查延迟、成本和访问权限。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
dev.to 上一篇文章给出了生产级检索增强生成(RAG)的评测方法。作者把检索和生成分开打分,用贴近真实流量的固定测试集比较分块和重排策略,并把延迟、成本和访问权限纳入同一轮上线检查。这样,团队看到分数下滑时,可以先定位是哪一环出了问题。
目前能确认什么
检索阶段看相关文档或片段有没有进入前 k 条、排得靠不靠前。生成阶段看回答有没有答到点上、关键说法能否从检索内容里找到依据。引文还要单独查,引用 ID 存在,只说明能找到对应片段,还要核对它是否支持那句话。缺少人工标注时,可以让 LLM 判断检索相关性,但作者把这种分数当作有噪声的近似指标。
跑评测前还得核对入库结果。批量索引可能只成功一部分,调用没报异常,某个标准片段也可能根本没入库。测访问控制时,则要以具体用户的身份跑检索,在该用户可见的文档里标注预期证据。即使答案答对了,只要检索到无权访问的片段,就应判为越权。
我的判断
如果一次改动后,相关片段仍排在前面,回答却更频繁地出现无依据的说法,我会先查生成环节。遇到标准片段没被召回,我会先查它是否入库,再看分块和排序。换重排器时也一样,固定测试集,每次只改一项,把证据支撑度、尾延迟和每问成本放在一起看,才能判断这次改动值不值。
节选没说清访问权限变化后,索引和缓存何时反映新权限。这个边界要等完整原文或所用组件的官方文档确认,因为静态权限用例跑通,仍回答不了撤权后下一次查询能否取到原文档。