大规模语料库场景：BM25再次超越Agent搜索

当语料库规模超过一定阈值，词汇匹配算法 BM25 便已超越复杂精巧的 Agent 搜索方案，彻底颠覆了「大规模检索任务理应默认使用学习型探索者」的假设。这其中的惊喜在于：一个已有数十年历史的公式，竟能在不依赖任何 LLM 驱动构建的情况下重新夺回榜首。

此前，对检索增强生成（RAG）流水线的评估混用了不同的基准测试和固定的语料规模，将稠密检索器、基于图的索引、以及顺序执行代理（如 File-System Agent）与纯 BM25 作为竞争替代方案加以比较。但这些研究从未揭示：当同一份文档按数量级扩展时，性能如何演变。

在最大规模的语料层级上，BM25 达到了 50.5 的准确率，超越了 File-System Agent 的 30.7 和 DenseRAG 的 29.9 [1]。随着更多 token 被加入，差距进一步扩大，在完整规模下几乎拉开近二十个百分点的距离。

File-System Agent 的顺序探索在相同基础语料上消耗的查询 token 是单次 BM25 检索的 39 倍，且随着搜索空间扩大，其有效性也在下降 [1]。仅 token 开销一项，就已使 Agent 在大规模部署场景中变得成本高昂、难以承受。

在约 1000 万 token 规模附近，BM25 超越了 File-System Agent，并在所有更大的共享层级中成为主导方法 [1]。越过这个交叉点后，全局候选排名始终优于局部的、逐步递进的发现策略。

该研究隔离了单一的 Reader 模型和评判协议，因此所报告的优势可能无法泛化到其他下游头部模型或评估指标；此外，作者指出「Agent 推理在排序发现之后效果最佳，而非取代排序发现本身」。这意味着混合流水线在 BM25 缩小候选集之后，仍可能从轻量级 Agent 中受益。

对于任何超过数百万 token 的语料库，从业者应将 BM25 作为默认检索层，而将 Agent 组件留待排序后的细化阶段——如此可在降低工程复杂度和 token 成本的同时，保持乃至提升整体准确率。

BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms