HydraFusion 通过选择性调度多个模型完成编码任务,在评估中匹配或超越 Opus 5 效果的同时显著降低单次工作流成本,已作为研究预览登陆 GitHub Copilot。
一直以来,为开发者提供最适合当前任务的基础模型始终是我们的目标。今年年初,我们发布了 Auto model selection 功能,让这一目标变得更加简单——它会审视你的任务,并将其匹配到最适合的模型。
今天,我们正式推出 Project HydraFusion,这是一项研究预览(research preview),通过运行时编排(runtime orchestration)提供前沿级别的智能。它会创建一个完整的执行计划,从多个供应商的模型中进行选择,完成起草、批判与修订,或者级联到更强大的模型来完成任务。
HydraFusion 在我们的整体战略中扮演着关键角色——实现本地模型、云端模型和组合模型之间的自动化语义路由。对开发者而言,这些复杂性都被隐藏在幕后:你像选择其他模型一样选择 HydraFusion,而它会为每个任务选择一种在性能、成本和延迟之间取得平衡的工作流。
HydraFusion 将工作流选择视为一个优化问题。它利用推理、代码生成、调试和工具使用的能力信号(capability signals)来选择最有效的执行模式,以满足质量标准。
对于每个请求,HydraFusion 目前会选择以下三种执行模式之一:
Single。由一个选定的模型直接解决任务。
Cascade。一个高效的模型先起草解决方案,然后由质量门(quality gate)决定是接受该方案还是升级到更强的模型。
Critique。一个模型先起草结果,来自不同模型家族的独立只读评审模型(遵循与 Rubber Duck 相同的评审模式)对其进行审查,然后起草模型修订一次。
图 1. HydraFusion 架构

每种模式对应不同的质量-成本权衡。当一个模型能够直接解决任务时,Single 模式保持速度和效率。Cascade 模式让高效模型先尝试,同时在候选方案未通过验收门时保留通往更强推理能力的路径。对于评审比另一次独立尝试更有价值的任务,Critique 模式提供了独立的视角。
在三个代理式编程(agentic coding)基准测试的离线评估中,HydraFusion 一致地展示了前沿级别的质量,同时大幅节省了预估成本。在 TerminalBench 2.1 上,相比 Claude Opus 5,它将已验证任务质量提升了 4.9 个百分点,同时预估成本降低了 67%。
让我们深入了解这一方法、结果以及基准测试的细节。
开发者实际上已经在手动协调多个模型:为任务选择一个模型,请另一个模型审查工作,或者将困难问题升级给更有能力的模型。HydraFusion 将这一熟悉的过程引入运行时。你只需选择一次 HydraFusion,就可以专注于任务本身,而它会在幕后管理模型和工作流。
关键在于选择性。有些编程任务可以直接解决,而有些则受益于审查、修订或升级。HydraFusion 评估每个请求,选择预期能够满足需求的最不复杂的工作流——仅在可能改善结果时才调用额外的模型。这种自适应方法在质量、成本和延迟之间取得平衡。
随着模型前沿的不断推进,HydraFusion 也在进化。当 GitHub Copilot 中有新模型可用时,我们可以评估并将其纳入模型池,让它们的优势发挥在最适合的任务上。
将自适应多模型编排转化为一种可靠的编程体验,需要对执行、审查、成本和仓库状态进行精细控制。HydraFusion 围绕五个运行原则构建:
完整记账。聚合每个工作流环节的成本和使用量,包括起草、评审、修订、升级、重试和降级。
有界执行。为每个环节提供明确的超时和取消行为,使执行和成本保持在定义的限制内。
隔离评审。评审步骤在隔离的、无工具的上下文中运行,而解决器步骤使用共享工作区和正常的权限感知代理循环。这允许模型独立评估工作,而不会修改仓库。
故障安全应用。当工作流被取消或验证失败时不应用任何补丁,防止不完整的更改到达仓库。
经验证的路由。在执行开始前验证工作流定义、模型绑定、降级行为和模型可用性。
这些原则共同使多模型编排在仓库级工作中变得实用。运行时在内部记录每个环节的角色、结果、成本、延迟和诊断信息,以便在执行后理解工作流。对外,开发者收到一个连贯的响应和一个权限感知的变更集。
固定策略的 HydraFusion 在三个代理式编程基准测试上进行了评估——TerminalBench 2.1、DeepSWE 和 CheckpointBench(这是我们基于真实 GitHub Copilot 会话的内部基准测试),使用 Claude Opus 5 和 GPT-5.6 Sol 作为比较基线。每种策略使用相同的任务输入、工具、执行限制、定价假设、评分条件和缺失结果处理方式。评估指标为已验证任务质量(确认为正确回答的任务占比)以及完整的预估工作流成本。成本计算包括每个调用的环节,如起草、评审、修订、升级、重试和降级。以下结果展示了调优后的最佳 HydraFusion 配置。
| 基准测试 | 成本对比 Opus 5 | 质量对比 Opus 5 |
|---|---|---|
| TerminalBench 2.1 | 低 67% | +4.9 个百分点 |
| DeepSWE | 低 36% | -1.5 个百分点 |
| CheckpointBench | 低 65% | -0.1 个百分点 |
表 1. HydraFusion 在三个代理式基准测试上的质量和成本,相对 Opus 5。
这些受控离线结果特定于所评估的基准测试版本、工作流配置、模型池和定价假设,所有模型均以相同的中等推理水平进行评估。通过这个研究预览,我们将验证这些结果如何转化为真实开发者工作负载,并利用发现进一步优化 HydraFusion 的生产质量、延迟、可靠性、缓存效率、成本和安全性。
TerminalBench 2.1 在终端环境中评估编程代理处理复杂多步骤任务的能力。
图 2 比较了 HydraFusion 和 Opus 5 在已验证任务质量和预估工作流成本上的表现。
DeepSWE 评估具有挑战性的仓库级软件工程任务,这些任务需要导航大型代码库、理解跨文件依赖关系并产生端到端修复。在这个基准测试上,HydraFusion 与 Opus 5 仅相差 1.5 个百分点,而成本降低了 36%,展示了在复杂现实工程任务中令人信服的质量-成本权衡。
CheckpointBench 是一个内部多轮基准测试,源自真实的 GitHub Copilot 代理式编程会话。每个对话都锚定到特定的公开仓库和不可变提交,确保每个会话都是可回放的。基准测试在语言、任务类型、难度上保持平衡,并经过质量筛选,最终形成一个紧密反映生产代理式会话的真实评估集。在这个基准测试上,HydraFusion 与 Opus 5 仅相差 0.1 个百分点,成本降低了 65%。
早期内部测试验证了这一结果。
到目前为止,HydraFusion 的推理和任务解决能力与 Opus 相当甚至更好。
HydraFusion 的路由策略是基于开发者如何在真实编程任务中使用 GitHub Copilot 而形成的。为了使这些工作流可重现,我们从真实的 Copilot 编程会话轨迹中策划了 CheckpointBench。我们在 CheckpointBench、DeepSWE 和 TerminalBench 2.1 上反复优化 HydraFusion,在整个评估集上而非单一基准测试上进行优化。
HydraFusion 的按能力得分(per-capability scores)为比较候选路由策略提供了一致的基础。我们使用束搜索(beam search)来构建最优决策策略,而非手动调优阈值。每个候选方案在质量、成本和失败模式上针对冻结基线进行测量,因此改进在稳定的基础上进行评估。
TerminalBench 2.1 提供了最完整的运行序列,使其成为观察这一迭代改进过程的最清晰视角。进展并非线性的。在 8 月 11 日至 8 月 25 日之间,评估工具中的两次操作失败产生了无效运行。这些失败被排除在性能趋势之外,经过修正后,HydraFusion 配置继续取得收益。截至 8 月 25 日,HydraFusion 已达到记录系列中最强的运行点。
这一开发记录展示了策略如何通过反复实验得到改进。TerminalBench 2.1 是开发过程中使用的多个基准测试之一。其相对饱和使得更广泛的验证变得重要,因此三基准测试评估也包含了 DeepSWE 更具挑战性的仓库级任务。研究预览将这一学习循环扩展到真实开发者工作负载。
对于这个预览版,第一轮单提示编程任务是最佳起点。接下来我们将专注于更强的多轮性能和更长的迭代会话。
这个预览版旨在了解哪些任务受益于组合工作流,以及编排如何在实践中影响延迟和成本。要获得最佳体验,目前可以从你可以在单个提示中以自动驾驶模式交给 Copilot 的实质性、范围明确的编程任务开始。通过 Copilot CLI 中的 /feedback 或 GitHub Community 讨论分享你的发现,包括它的优势、不足之处以及你希望看到的后续内容。
HydraFusion 仍是一项活跃的研究工作。随着我们从预览版中学习,结果、模型、工作流、可用性、名称和产品行为可能会发生变化。我们相信,编程代理的下一个真正收益将来自将前沿智能与运行时编排相结合。HydraFusion 是我们对这一想法的首次实践:从选择最佳模型转向动态构建解决每个任务的最佳方式。
非常感谢 GitHub 和 Microsoft 的研究人员、工程师、产品经理和设计师,他们策划了训练数据、构建了训练流水线、评估套件、客户端体验和服务架构。我们特别感谢 GitHub Copilot CLI、Copilot API 和 VS Code 团队克服了无数挑战,将这个研究预览带给我们的客户。
Aashna Garg,首席应用科学家,Code AI
Shengyu Fu,合作伙伴应用科学经理,Code AI
Carlos Castro,合作伙伴架构师,GitHub Copilot
Siddharth Singha Roy,研究科学家 II,Code AI
Andy Salerno,首席软件工程师,GitHub Copilot
GitHub 是世界上最好的开发者体验,也是唯一一个在每个步骤中都融入了安全性的 AI 驱动平台,让你能够自信地创新。
GitHub Copilot 应用入门:同时运行多个代理
了解如何在 GitHub Copilot 应用中运行并行代理,体验它从令人畏惧变得强大有力的那一刻。
解码新的 AI 术语:循环、工具链、团队、爬山……我的天!
从循环工程到工具链、团队和开放权重,GitHub Podcast 解析了出现在开发者对话中的 AI 术语。
我们如何在不牺牲任务质量的前提下让 AI 编程更具成本效益
为什么更短的输出反而可能成本更高,以及 GitHub Copilot 如何在整个编程任务中减少浪费的工作。