基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
6.0
关注
AI SCORE
开源项目2026-07-30 22:55

美团开源 LoHoSearch:下一代搜索 Agent 评测基准

美团技术团队#开源#评测基准#Agent
Editor brief · 编辑速览

美团开源知识图谱驱动的评测基准 LoHoSearch,用真实知识校准 AI 能力,解决现有基准饱和导致的模型区分度问题。

文章思维导图
Knowledge map
拖拽缩放
Full translation

完整中文译文

过去一年,我们见证了 Search Agent 能力的显著演进。在 BrowseComp 等评测上,顶尖模型准确率从最初的 30% 区间迅速攀升至 90% 以上。然而,当基准迅速饱和,其区分模型能力的价值也随之递减。

BrowseComp 的题目由人工设计,局限在于只能基于标注者已知的实体和关系构思,无法站在全局知识网络视角判断:哪些条件真的难检索?哪些约束的候选空间足够大?正是这种局限,让我们开始思考另一种可能性:能不能让机器自己来出题?

美团 LongCat 团队在最新论文中提出的 LoHoSearch 基准,就是把这种可能性变成了现实。

知识图谱自动化构造。 以覆盖 762 万维基百科实体的知识图谱为基础自动生成题目,替代人工出题。基准含 544 道经人工核验的题目,覆盖 11 个领域。

双维度难度控制。 在生成中系统控制搜索空间与结构复杂度。构建出难度显著高于现有基准的挑战性问题。

当前模型性能表现。 已评测模型中,GPT-5.5 准确率为 34.74%;现有上下文管理策略在 LoHoSearch 上提升幅度为 6.8%,低于在 BrowseComp 上的 14.03%。

机器出题的前提,是让机器拥有全局视野。整个构建流程可以分为四个环节:建图 → 控制难度 → 质量把关 → 数据概览。下面逐一展开。

1.1 建图:搭建知识图谱,让机器获得全局视野

LoHoSearch 的第一步,是从完整的英文维基百科出发搭建一张大规模知识图谱:

  • 762 万个实体(每个维基页面是一个实体节点)
  • 2.65 亿条有向边(页面正文中指向其他维基页面的超链接)
  • 每个实体的类型取自其 Wikidata P31 类别,实体热度用入度来衡量

这张图谱为后续在全局视角下挑选"难题"提供了基础。

有了图谱之后,下一个问题是:什么样的题目才算"难"?LoHoSearch 从两个维度来定义难度。

1.2 控制难度:搜索空间和结构复杂度两个维度

决定搜索难度的核心有两个维度,而它们恰恰是人工出题最难把控的:

  • 搜索空间: 满足一个条件的候选实体有多少。候选越多,排除成本越高。
  • 结构复杂度: 要同时满足多少条件才能锁定答案。条件越多、咬合越紧,求解链条越长。

针对这两个维度,LoHoSearch 设计了两种子图结构:

  • 树结构主要通过放大"搜索空间"来制造难度。
  • 图结构则在巨大搜索空间之上,通过引入环形依赖和交叉约束,进一步叠加了"结构复杂度"。

子图采样完成后,还需要转换为可阅读的自然语言题目。整个转换与验证流程分为三层:

  • 题目生成: 从子图抽取维基描述,改写为自然语言问题。
  • 自动验证: 检查问题是否完整覆盖子图关系,并由搜索智能体验证标准答案满足所有条件。
  • 筛选与复核: 排除多答案题和易答题,再由人工审核。

经过三层筛选,自动化流程的整体质量表现如下:75.5% 的题目直接通过人工复核,22.3% 经标注员微调后接受,仅有 2.2% 因严重问题被丢弃。

1.4 数据概览:544 道题目,11 个主题领域

LoHoSearch 最终收录 544 道经人工核验的题目。对比树结构和图结构可以看出,图结构子图明显更稠密——节点更多、边数接近前者的两倍,这正对应它更高的结构复杂度。题目内容覆盖音乐、地理与地点、影视、体育等 11 个主题领域。

最强模型 GPT-5.5 准确率仅 34.74%,DeepSeek-V4-Pro、Claude-Opus-4.6 和 Kimi-K2.6 集中在 15.53%–15.99%,其余模型均低于 14%。这与它们在 BrowseComp 上 80% 以上的表现形成鲜明对照——LoHoSearch 对当前最先进搜索智能体构成了实质挑战。

洞察一:解一道题,平均工具调用从 35 次增至 61 次

用 DeepSeek-V4-Flash 作为探针对比两个基准:同一模型在 BrowseComp 上准确率 58.84%,在 LoHoSearch 上仅 10.02%。

解一道 LoHoSearch 题目,平均工具调用从 35 次增至 61 次(+74%),中位数从 26 次升至 59 次。图结构题目准确率仅 8.01%,远低于树结构的 11.89%,印证了结构复杂度是独立于搜索空间之外的额外难度来源。

洞察二:重复采样收益可观,但天花板依然很低

对 DeepSeek-V4-Flash 采样 16 个独立回答,结果如图 5 所示。

pass@N 从 N=1 的 9.3% 升至 N=16 的 38.3%,重复采样收益可观,但 38.3% 仍处低位。尝试 16 次仍有六成以上题目无法攻克。三种聚合策略中 best-of-N 表现最优(24.6%),远低于 pass@16 上界,说明模型在答案置信度校准上存在明显不足。

洞察三:现有的上下文管理策略,在这里已失真

以标准 ReAct 为基线,测试 Summary 和 Discard-all 两种策略,并加入 Verify 模块。

表现最佳的组合(Discard-all + Verify)将成绩从 10.02% 提至 16.82%,绝对提升仅 6.8 个百分点,而同一套策略在 BrowseComp 上可带来 14 个百分点的增益。收益收窄的原因在于 LoHoSearch 需要更长的推理链,简单的轨迹压缩或重启无法解决长程搜索中的信息丢失问题——这使其成为下一代上下文管理技术更有价值的试验场。

洞察四:知识图谱是系统化构造高难度题目不可或缺的基础

对比两个基准中"隐藏实体"的特征可以发现:

其一,BrowseComp 的隐藏实体流行度明显更高,人工出题难以精确控制实体知名度,导致实体偏易。

其二,即便将流行度控制在同一水平,LoHoSearch 的关系搜索空间仍显著更大,实体推断难度远高于 BrowseComp。

这说明人工构建存在系统性局限,知识图谱是系统化构造高难度题目不可或缺的基础。

核心价值

LoHoSearch 的价值体现在三项具体贡献上:

基于知识图谱的自动化构造流程。 以覆盖 762 万实体的知识图谱为基础自动生成题目,系统控制搜索空间与结构复杂度,突破人工出题的难度上限。

更具区分度的评测标准。 最强模型 GPT-5.5 准确率仅 34.74%,正确轨迹所需工具调用次数是 BrowseComp 的 1.7 倍。LoHoSearch 为搜索智能体建立了更具区分度的评测标尺。

面向上下文管理研究的挑战性平台。 最优策略仅带来 6.8% 的提升,远低于其在 BrowseComp 上 14.03% 的增益,表明 LoHoSearch 可成为推动下一代上下文管理技术研究的理想试验场。

LoHoSearch 已全面开源,欢迎各大模型前来接受"长程搜索"大考。

Paper: https://arxiv.org/abs/2606.12837

HuggingFace: https://huggingface.co/datasets/meituan-longcat/LoHoSearch

Original source

本文由 AI 翻译整理,来源 美团技术团队,原文版权归原作者所有。

阅读原文
上一篇
LongCat-2.0 开源推理代码,国产万亿参数编程模型
下一篇
ICML 2026 美团技术论文精选

资讯速览

美团技术团队 · 2026-07-30 22:55

AI 评分 6.0 / 10

相关标签

#开源#评测基准#Agent

继续阅读

  • 美团 AI 顶会论文精讲集:32 篇前沿研究解读
  • LongCat-2.0 开源推理代码,国产万亿参数编程模型
  • ICML 2026 美团技术论文精选
  • MineExplorer:开放世界多模态模型长程规划评测
  • Copilot新增企业级远程控制管理功能