Rerank 5 双档选型:精度、延迟与成本
Cohere Rerank 5 提供 Pro 与 Fast 两档,新增相关段落返回及跨查询校准的相关性分数,支持通过修改模型参数升级。文中延迟与质量数据均来自厂商,尚缺独立复测。
原文暂未完整获取,基于公开信息的快读
Cohere Rerank 5 将重排序模型分成 Pro 与 Fast 两档,分别侧重质量和速度、成本,同时新增相关段落返回与跨查询校准的相关性分数。公开节选给出了两档延迟,但数据来自厂商,文章作者没有进行实测,暂时不能把它当成生产环境的性能承诺。
目前能确认什么
在检索增强生成(RAG)中,检索器先找出候选内容,重排序器再按与问题的相关程度调整顺序,影响最终送给大模型的材料。
据节选,两档均支持 32K 上下文、100 多种语言及 JSON/YAML 输出,仅通过 API 提供。升级路径是修改模型参数,但具体模型标识仍需官方文档确认。
厂商报告称,每次处理 96 篇候选文档时,Pro 的延迟中位数为 11.7 秒,Fast 为 4.1 秒。质量方面,Pro 在 46 个综合数据集中赢得 39 个,在 BRIGHT 上领先 Voyage AI Rerank 3 5.8 个点,尚缺独立复测。
Context Focus 返回相关段落;校准后的相关性分数则旨在支持跨查询使用阈值。
我的判断
交互式 RAG 应先检查重排序会占用多少等待时间。
如果用户正在等搜索或聊天结果,Fast 更适合作为首轮验证对象;允许较长等待、且检索错误代价较高的任务,再验证 Pro 的质量收益。但中位数无法说明最慢一批请求的表现,更不能直接推出端到端 p99。
段落返回值得重点验证:它可能减少无关上下文,也会影响引用定位和上下文完整性。需要检查截取的段落能否保留限定条件、能否准确回溯原文。
跨查询分数校准也不能直接等同于跨业务阈值通用。中文查询、代码文档和内部知识库上的分数分布仍待验证。节选未给出明确价格,Fast 究竟能省多少成本,目前无法计算。