QwenGyre 面向超长任务训练编程 Agent

人工智能

Alibaba 的 Qwen 团队推出了 QwenGyre，一个面向超长时程 Agent 训练的弹性强化学习（RL）框架。QwenGyre 是 Alibaba 开发的在线强化学习系统，通过未经修改的黑盒 harness 训练编程 Agent。它针对的是持续数小时、处理近 1M token 的 rollout。QwenGyre 弹性 RL 框架已用于 Qwen 的旗舰模型 Qwen 3.8 2.4T。它建立在两个核心思路上：在 rollout 和训练之间调配空闲 GPU，以及将分支状的 Agent 执行历史转化为数量受限的训练样本。

规模：这是一个训练框架，不是模型。已在 Qwen 3.6 122B 和 Qwen 3.8 2.4T 上测试（据 Qwen 介绍，后者为 A95B），每次 rollout 约处理 700K token。

运行环境：多节点 GPU 集群。122B 模型的实验使用了 24 到 32 个节点；2.4T 模型的实验使用了 192 个节点，分为 4 个 cell，每个 cell 包含 48 个节点。GPU 型号未披露。训练使用 Megatron，rollout 推理服务使用 SGLang。

性能：在得分相当的情况下，相比 Async 加速 1.38x 至 1.78x，相比 Colocate 加速 1.21x 至 1.85x。

最佳表现：在 TerminalBench 上，相比 Colocate 实现了 1.85x 的端到端加速。

最弱表现：在 2.4T 模型上，相比 Colocate 仅加速 1.21x，因为许多请求的运行时间都接近超时上限。

总体结论：最佳表现是 NL2RepoBench 得分在 48 个训练 step 内从 52.5% 提升至 58.5%。不足之处是论文没有提供公开代码的链接。

最佳表现：NL2RepoBench 得分在 48 个训练 step 内从 52.5% 提升至 58.5%。

不足之处：论文没有提供公开代码的链接。

QwenGyre 解决了什么问题？

研究团队将“XLong-horizon”任务定义为持续数小时、包含数百次模型调用和工具交互的 Agent 执行过程。例如，NL2Repo-Bench 中根据需求规格生成完整代码仓库的任务。

到了这个规模，会出现两个问题：

首先，rollout 存在长尾。在 Colocate 配置下，训练必须等待最慢的执行完成，而 GPU 则处于空闲状态。在 Async 配置下，固定的 GPU 资源池无法将富余算力借给彼此。

其次，Claude Code 这样的 harness 会压缩上下文、启动 sub-agent，并进行重试。因此，一次执行会形成一棵分支树，而不是一条轨迹。展开每条路径会重复处理共享前缀，推高训练成本。

Elastic Scheduler 如何工作？

QwenGyre 将 GPU 划分为多个 cell，这些 cell 采用相同的训练布局。每个 cell 都可以提供 rollout 推理服务，也可以承载一个完整的训练副本。核心 cell 持有作为基准的模型权重和 optimizer 状态，卫星 cell 则在稍后加入训练。

调度器会跟踪 rollout 水位，也就是排队中和正在运行的执行任务。随着执行任务完成，只要剩余 cell 仍能承载所有尚未结束的任务，其他 cell 就会切换到训练。模型调用通过 proxy 重新路由，因此 harness 可以持续运行。

重新路由时，KV-cache block 通过 RDMA 迁移，从而减少前缀的重复计算。

卫星 cell 通过 Mooncake 的 Transfer Engine 拉取核心 cell 的权重，并加入正在进行的 batch。

流式训练允许 cell 在数据就绪后领取 micro-step。

角色切换的平均耗时分别为 8.52 s（从 rollout 切换到训练）和 3.46 s（从训练切换到 rollout）。

Trajectory Processor 如何构建训练样本？

proxy 使用 token-in, token-out（TITO）记录精确的 token ID 和行为策略的 log-probability。调用以共享前缀的轨迹树形式存储。

部分成果评分：对于超时的执行任务，仍会根据保留下来的工作区进行评分。评估器失败的任务会被排除，绝不会被当作零奖励处理。

有上限的采样：每次执行最多保留 5 条轨迹，优先级为 main > main-summary > sub-agent > sub-agent-summary。

去重：共享的训练目标只计入一次，且仅训练策略生成的 token。

公平加权：每次执行内部的 loss 取平均，因此额外分支不会增加该次执行的权重。

将上限设为 5 条轨迹，取得了与不设上限时相当的训练得分，同时将前向和反向计算时间缩短了 25.2%。训练使用经过适配的 GSPO，每组包含 16 次 rollout。

QwenGyre 有多快？Benchmark 结果

所有实验都使用 Claude Code 2.1.220 作为 harness，GPU 资源预算相同，策略陈旧程度也保持一致。

工作负载（模型）	相比 Async	相比 Colocate
NL2RepoBench（Qwen 3.6 122B，48 个 step）	1.42x 至 1.53x	1.36x 至 1.47x
DeepSWE（Qwen 3.6 122B，24 个 step）	1.569x 至 1.572x	1.610x 至 1.824x
TerminalBench（Qwen 3.6 122B，24 个 step）	1.383x 至 1.430x	1.809x 至 1.849x
NL2RepoBench（Qwen 3.8 2.4T，48 个 step）	1.78x	1.21x

在 2.4T 模型上，QwenGyre 用 75.42 小时完成了 48 个 step。Async 用时 134.55 小时，Colocate 用时 91.47 小时。评估通过率从 52.48% 提升至 58.54%。

QwenGyre 与其他 Agent RL 框架相比如何？

特性	QwenGyre	veRL	AReaL	Agent Lightning
开发者	Alibaba Qwen	ByteDance Seed + 社区	Tsinghua IIIS + Ant Group	Microsoft
许可证	未披露	Apache-2.0	Apache-2.0	MIT
GPU 部署方式	弹性 cell，可在 rollout 进行中切换	灵活的设备映射，支持 HybridEngine 重分片	完全异步	未披露
黑盒 harness	支持，通过 proxy 接入	未披露	支持，通过替换 base_url 接入	支持，几乎无需修改代码
训练 / rollout	Megatron / SGLang	FSDP、Megatron / vLLM、SGLang	Megatron、FSDP、Archon / vLLM、SGLang	未披露
已公布的最大规模	Qwen 3.8 2.4T	671B 模型	未披露	未披露
主要加速结果	相比 Colocate 最高加速 1.85x	未披露	相比同步方案加速 2.77x（v0.3）	未披露
公开代码	未披露	有	有	有

这些加速结果来自各项目自身的实验配置，不能直接比较。

QwenGyre 可以在 rollout 和训练之间调配 GPU，无需停止正在运行的 Agent。

轨迹树将每次执行的样本数限制为最多 5 个，共享前缀只训练一次。

超时的执行任务仍会根据已完成的部分工作获得评分。

相比 Colocate 最高加速 1.85x，相比 Async 最高加速 1.78x。

Qwen 3.8 2.4T 在 NL2RepoBench 上的得分，在 48 个 step 内从 52.5% 提升至 58.5%。

欢迎查看 arXiv 上的 QwenGyre 完整论文，以及 Qwen 的公告文章。所有成果归功于该项目的研究人员。也欢迎在 Twitter 上关注我们，别忘了加入我们拥有 150k+ 成员的 ML SubReddit，并订阅我们的 Newsletter。等等！你使用 Telegram 吗？现在也可以在 Telegram 上加入我们了。

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名富有远见的创业者和工程师，Asif 致力于发挥人工智能的潜力，为社会创造价值。他最近推出了人工智能媒体平台 Marktechpost。该平台以深入报道机器学习和深度学习新闻见长，内容既在技术上严谨可靠，又便于广大读者理解。平台每月浏览量超过 200 万，体现了它在读者中的受欢迎程度。