8.0
热点
AI SCORE
编程提效2026-08-28 08:06
Terminal-Bench-Science：评估AI Agent科研工作流能力
Hacker News#AI Agent#Benchmark#科研
Editor brief · 编辑速览
发布科学研究的AI Agent评测基准Terminal-Bench-Science，帮助量化AI Agent在科研场景的效能。
Terminal-Bench-Science 评估 AI Agent 在科研工作流上的表现。评判 AI 科学能力的标准，由科学家而非模型开发者或数据供应商来定义。
Terminal-Bench-Science 是一个由斯坦福大学研究人员主导的基准测试，由 Terminal-Bench 团队打造，汇集了来自多个科学学科和研究机构的领域专家。它通过一组多样化、具有挑战性、由专家策划的科研工作流来衡量 AI Agent 的能力。
Terminal-Bench-Science 是一个持续迭代的基准测试，与前沿 AI 同步演进，在科学需求与 AI 开发之间建立反馈循环。首个版本包含来自生命科学、物理科学、地球科学、数学科学和工程科学的 70 个任务。在评估中表现最强的模型 Claude Opus 5，在 Terminal-Bench-Science 0.1 上达到了 30% 的解决率。
70 个科学工作流任务上的解决率
Terminal-Bench-Science 0.1 排行榜
虽然 Terminal-Bench 推动了 AI Agent 在软件工程领域的进步，但 Terminal-Bench-Science 将同样的雄心带到了科学领域。我们的目标是推动具有科学能力的 Agent 开发，使它们成为有用的研究助手。这些 Agent 应该能够执行技术要求高且耗时的工作流，让科学家能够将更多时间集中在科学中最需要人类判断的环节：定义研究问题、形成假设、解释和验证结果、以及传播研究发现。在这一角色中，AI Agent 可以拓展研究人员所能取得的成果，帮助加速科学发现。
实现这一目标需要能够反映真实科学实践、提供可验证能力证据、并与 AI 前沿同步演进的基准测试。
我们需要来自真实科学工作流的基准测试。科学能力应该在真实的研究实践中评估，而非教科书问题或标准化练习，且应由正在从事研究的科学家亲自贡献。Terminal-Bench-Science 让各领域的科学家拥有直接的话语权和共享平台，为他们关心的 AI 进步问题设定标准。科学的赌注太高，它的基准测试必须反映科学界的优先事项，而非外部利益。
我们需要可验证的科学能力证据。没有可靠的评估，我们无法判断 Agent 能力是在进步还是在退步，也不知道其局限性在哪里。Terminal-Bench-Science 在现实环境中评估 Agent，并用可重现的、针对具体任务的测试对分析、模拟、定理证明、代码和数据产品等具体产物进行评分。
我们需要能够跟上前沿发展的基准测试。科学基准测试往往被当作发表论文而非推动进步的工具。它们发布一次后就遭废弃，而模型在进步，已知的局限性却依然存在。Terminal-Bench-Science 是一个与 AI 前沿同步演进的持续基准测试。通过定期发布，科学家可以贡献新的工作流、改进现有任务，在科学需求与 AI 开发之间建立反馈循环。
Terminal-Bench-Science 反馈循环
Terminal-Bench-Science 0.1 包含来自生命科学、物理科学、地球科学、数学科学和工程科学的 70 个任务。任务涵盖科学数据分析、统计推断、模拟、优化、定理证明、图像重建、信号处理、反问题、传感器校准、模型拟合、分类和科学机器学习。
5 个科学领域中的 70 个专家策划任务
Terminal-Bench-Science 0.1 任务覆盖范围
任务由研究人员在 GitHub 上通过开放流程提交贡献，讨论和反馈在 Discord 的 #tb-science 频道中进行。贡献从提案开始，审核者讨论每个想法、留下反馈，并批准那些看起来高度契合的提案：即在科学上有依据、值得在基准测试中衡量的工作流。经批准的提案作为 Pull Request 实现，审核者确认每个任务都是可客观验证的、对 AI Agent 真正具有挑战性的、且不是当今前沿系统已经轻松解决的。在合并之前，领域审核者评估科学有效性和真实性，技术审核者检查任务构建和验证，基准提升者进行最终质量检查。在 920 个提案中，464 个被批准进入实现阶段，386 个 Pull Request 被打开，但最终只有 70 个任务进入 Terminal-Bench-Science 0.1。这种高选择性反映出创建一个在科学上有趣、对前沿 Agent 有挑战性、且有足够详细规格进行严格评估的任务有多么困难。提案、Pull Request 和审核的进展在公开的任务仪表板上追踪。
从 920 个任务提案到 70 个进入 Terminal-Bench-Science 0.1
376 名贡献者来自 22 个国家，贡献形式包括提案、审核或 Pull Request
Terminal-Bench-Science 0.1 为科研 AI Agent 的进步留下了大量空间。每个被评估的模型在全部 70 个任务上每个任务运行三次独立试验。Claude Opus 5 配合 Claude Code 取得了最高解决率 30.0%，其次是配合 Codex 的 GPT-5.6 Sol 为 22.4%，配合 Claude Code 的 Claude Fable 5 为 21.4%。Claude Opus 4.8 处于中间位置，为 10.5%。GPT-5.6 Terra、Kimi K3 和 Grok 4.6 的任务解决率均低于 10%。GLM 5.3 是最强的开源模型，为 8.1%，GPT-5.6 Luna 排名最后，为 3.3%。
Terminal-Bench-Science 的系统区分能力与 Terminal-Bench 3.0 大致相当，同时将每个被两个基准测试评估的模型的解决率都压低了超过 10 个百分点。这个差距是有意为之的：在审核期间，任务被校准为对最新的前沿模型具有挑战性。
Terminal-Bench 2.1、Terminal-Bench 3.0 和 Terminal-Bench-Science 0.1 上的解决率
Terminal-Bench-Science vs. Terminal-Bench
性能只是进步的一个维度。成本-解决率图显示了全部 70 个任务的总评估成本与解决率的关系。GPT-5.6 Luna、Kimi K3 和 GPT-5.6 Terra 处于前沿的低成本端。GPT-5.6 Sol 和 Claude Opus 5 以更高的成本达到了最高的解决率，Opus 5 为 $7.0k。GPT-5.6 Sol 以不到三分之一的价格（$4.2k vs $14.2k）匹配了 Claude Fable 5 的性能。Token 使用量显示了不同的前沿格局。Claude Fable 5 以大约四分之一的 Token 量（6.4B vs 8.4B）匹配了 GPT-5.6 Sol 的性能。Kimi K3 处于低 Token 端，Claude Opus 5 处于高解决率端。只有 Kimi K3 和 Claude Opus 5 同时出现在两个 Pareto 前沿上。
被评估系统成本与解决率的 Pareto 前沿
Terminal-Bench-Science 0.1 成本与解决率
被评估系统 Token 使用量与解决率的 Pareto 前沿
Terminal-Bench-Science 0.1 Token 与解决率
解决率也因科学领域而异。在除工程科学之外的每个领域，Anthropic 和 OpenAI 的模型都占据了前两位。在工程科学中，Grok 4.6 与 GPT-5.6 Sol 并列第二（14.8%），但成本和 Token 使用量更低。Claude Opus 5 在除数学科学之外的每个领域都领先于 GPT-5.6 Sol 和 Claude Fable 5，在数学科学中，Claude Fable 5（33.3%）和 GPT-5.6 Sol（31.4%）占据了前两位。按领域的完整细分可在排行榜上查看。
Opus 5、GPT-5.6 Sol、Grok 4.6
各领域解决率：Opus 5、GPT-5.6 Sol 和 Grok 4.6
Terminal-Bench-Science 0.1 各领域解决率
Terminal-Bench-Science 0.1 是跨生命科学、物理科学、地球科学、数学科学和工程科学的研究人员与 Terminal-Bench 和 Harbor 团队的协作成果。它是我们能够在开放环境下构建的最严格的科学 Agent 能力基准测试，而这只是开始：Terminal-Bench-Science 0.1 是一个持续基准测试的首个版本。
定期发布将增加任务、扩大五个科学领域的覆盖范围、淘汰 Agent 已饱和或审核发现规格不足的任务，并随着新前沿模型的发布保持排行榜的最新状态。每个版本都针对当时的前沿进行校准。对于 Terminal-Bench-Science 0.1，这个前沿是 Claude Opus 5 和 GPT-5.6 Sol，随着更强大的模型出现，我们将用它们来评估和校准新的和改进的任务。任务是版本化的，这样可以用单个 Harbor 命令重新使用、重新评分或重新运行试验，这降低了更新结果的成本。进展在任务仪表板上公开追踪，每个版本都在 GitHub 和 Harbor Hub 上打标签。
Terminal-Bench-Science 0.2 的工作已经启动，Pull Request 截止日期为 2026 年 10 月 5 日。如果你是一名研究人员，拥有一个前沿 Agent 应该能够完成但目前还无法完成的工作流，我们希望它进入基准测试。贡献流程是提出 → 构建 → 审核：通过任务提案表单提出你的任务，按照贡献指南构建它，它将经过自动化检查、并行领域和技术审核，以及最终的基准提升者批准后才能合并。
通过 Discord 上的 #tb-science 频道和 GitHub 加入我们，并通过项目日历参加我们的每周会议和办公时间。让我们让科学家来定义 AI 中什么是科学能力，并严谨地衡量它。
如果你觉得这项工作有用，请引用它。你可以使用 GitHub 上的"引用此仓库"按钮（从 CITATION.cff 生成）或使用以下信息手动引用。
@software{Terminal-Bench-Science_Team_Terminal-Bench-Science_Evaluating_AI_2026, author = {{Terminal-Bench-Science Team}}, doi = {10.5281/zenodo.22110254}, license = {Apache-2.0}, month = aug, title = {{Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific domains}}, url = {https://github.com/harbor-framework/terminal-bench-science}, version = {v0.1.0}, year = {2026} }
@software{Terminal-Bench-Science_Team_Terminal-Bench-Science_Evaluating_AI_2026,
author = {{Terminal-Bench-Science Team}},
doi = {10.5281/zenodo.22110254},
license = {Apache-2.0},
month = aug,
title = {{Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific domains}},
url = {https://github.com/harbor-framework/terminal-bench-science},
version = {v0.1.0},
year = {2026}
}
感谢所有在 Terminal-Bench-Science 背后做出贡献的任务贡献者、审核者和顾问。
特别感谢我们的项目首席顾问 Ludwig Schmidt 和 Sanmi Koyejo；我们的资深审核者 Allen Hart、Ivan Bercovich、Joseph Janssen、Jiaming Hu、Steffen Bollmann 和 Sergey Aganezov；我们的 AI 研究顾问 Ryan Marten、Alex Shaw、Lin Shi、Benjamin Feuer、Mike A. Merrill、Alex Dimakis、Jenia Jitsev、Bodhisattwa Majumder、Peter Clark、Thomas Wolf、Braden Hancock 和 Andy Konwinski；以及我们的科学顾问 Sara Beery、Jo Dunkley、J. Nathan Kutz、Ching-Yao Lai、Scott Linderman、Emma Lundberg、Russ Poldrack、Aviv Regev 和 Risa Wechsler。
Terminal-Bench-Science 是由斯坦福大学和 Laude Institute 主办的开源学术合作项目，与斯坦福 AI 实验室（SAIL）、斯坦福以人为本人工智能研究所（HAI）、斯坦福 AI 测量科学（AIMS）、NSF AI 基础机器学习研究所（IFML）、Allen Institute 和 Allen Institute for AI（Ai2）合作。作为 Terminal-Bench 家族的一员，它由 Terminal-Bench 和 Harbor 团队与科学贡献者社区共同构建。
我们感谢 Laude Institute 通过 Slingshots 计划提供的支持，Snorkel AI 通过开放基准测试资助计划提供的支持，2077AI 开源基金会提供的 PP API 积分支持任务审核和策划，以及 UniPat AI 和 Modal 对 Terminal-Bench-Science 的支持。我们感谢 Bespoke Labs、Anthropic、Google、Moonshot AI、SpaceXAI 和 Z.ai 提供的 API 积分支持排行榜评估。
作者：Steven Dillmann