用可验证进度训练长任务 Agent

开源 Agent 在长时程任务中表现不佳，是因为缺少两样东西：带有可验证中间状态的训练数据，以及能引导数小时执行过程、又不泄露最终目标的奖励信号。Tev-Gym 及其进度势能奖励塑形（progress-potential reward shaping，PPRS）方案同时解决了这两个问题。这套基础设施用于训练 Agent 执行具有经济价值的工作流，例如投资组合再平衡、财报分析，或持续数天的递归自我改进循环。

稀疏奖励问题

大多数 Agent 基准只提供二元反馈：任务完成，或者任务失败。如果一个交易 Agent 必须收集市场数据、运行估值模型、检查合规规则，再跨四家交易所执行交易，那么直到最后一步，它才能获得反馈信号。这让信用分配几乎无法进行，也就是很难判断前面的哪些行为对最终结果起了作用。

传统 RL 使用密集奖励，但为每一种可能的 Agent 任务手工设计中间奖励，并不能规模化。你需要一种系统化的方法来衡量进度，同时又不把解题路径编码进去。

先构建潜在世界

Tev-Gym 采用三层方法，构建了 1,170 个经过验证的任务环境：

• 潜在世界规范：完整描述任务领域、工作流，以及每一步之后预期状态的隐藏模型。这是作为判定依据的真实标准。
• 渐进式渲染：根据规范生成环境，因此复杂度可控，每个中间状态也都可以验证。
• 进度指标提取：由于规范掌握完整的工作流，它可以衡量 Agent 已经推进了多远，同时不透露解决方案。

这颠倒了通常的基准设计流程。你不再先收集任务，再反向推导评估标准，而是从形式化任务模型出发，根据模型渲染出环境。

进度势能奖励塑形

PPRS 将进度指标转换为每一步的奖励。关键思路是：奖励 Agent 到达那些更有希望完成任务的状态，而不是奖励某些特定动作。

奖励函数如下：

def pprs_reward(state, next_state, task_spec):
    progress_current = task_spec.measure_progress(state)
    progress_next = task_spec.measure_progress(next_state)
    potential_delta = progress_next - progress_current
    return potential_delta + sparse_terminal_reward(next_state)

这满足奖励塑形的不变性：在密集奖励下最优的策略，在稀疏终局奖励下也同样最优。你没有改变 Agent 应该做什么，只是降低了梯度中的噪声。

检查点粒度的权衡

长时程任务需要保存检查点，但存储和评估成本会随着检查点保存频率增加而上升。Tev 基于潜在世界模型，采用任务感知的检查点机制。

只有当潜在世界模型表明工作流到达某个阶段边界时，任务感知的检查点机制才会保存状态，例如数据收集完毕、模型训练完成、合规检查通过。这样可以减少 90% 的存储，同时保留从有意义的中间状态恢复执行的能力。

训练方案与结果

Tev-27B 使用 PPRS 训练，训练数据完全来自 ALE（Agents' Last Exam）的计算与数学科学领域。在 ALE-CM 的 Pass@5 指标上，它达到了 GPT-6 Astra 和 Claude Opus 5 的水平，尽管它是开源模型，而且规模更小。

泛化能力才是真正的考验。Tev-27B 在训练时没有接触过 Terminal-Bench 数据，却在 TB 3.0 和 4.0 子集上超过了 GLM 5.2 和 Gemini 3.7 Flash。在中等时程任务（TB 2.1）上，它达到了 Claude Opus 4.8 的水平。

这表明，PPRS 方案教会模型的是可迁移的任务分解能力，而不只是特定领域的启发式方法。

金融工作流的部署方式

采用这种方法的投资组合再平衡 Agent 会按以下步骤构建：

• 定义潜在世界：资产范围、再平衡规则、合规约束和交易执行场所。
• 渲染环境：市场数据源、订单管理系统和合规 API。
• 设置进度监测：在数据收集、估值完成、合规批准和开始执行交易时设置检查点。
• 使用 PPRS 训练：奖励工作流各阶段的推进，而不把交易逻辑硬编码进去。
• 部署时持久化状态：在工作流阶段边界保存检查点，让 Agent 能在中断后恢复执行。

潜在世界模型就成了你的可观测性层。你可以检查 Agent 是卡住了、发生了倒退，还是确实在朝最终目标推进。

奖励作弊：如果进度指标设计不当，Agent 就会找到捷径。如果进度函数只统计 API 调用次数，交易 Agent 可能根本没有检查规则，就把合规检查标记为完成。

检查点膨胀：即使采用任务感知的检查点机制，如果工作流包含大量决策点，存储需求仍可能急剧膨胀。你需要保留策略和压缩机制。

泛化边界：Tev-27B 能够跨任务时长泛化，但仍局限于相近领域，也就是计算与数学。要跨到完全不同的领域，例如法律研究或硬件设计，很可能需要重新训练。

潜在世界漂移：如果真实环境发生变化，例如出现新的合规规则，或 API 被弃用，潜在世界模型就会过时。你需要一套流程来更新规范，并重新渲染环境。

在以下情况下，可以使用 Tev 风格的 PPRS：

• 任务具有明确的中间里程碑，例如数据收集、模型训练和审批关卡。
• 你需要开源模型处理持续数小时的工作流。
• 你可以投入资源，为自己的领域构建潜在世界模型。
• 存储和计算预算足以支持任务感知的检查点机制。

任务完全非结构化，没有自然的进度指标。

你需要亚秒级延迟的实时执行，检查点机制的开销太高。

环境变化的速度超过了你更新潜在世界规范的速度。

你已经拥有能处理长时程任务的专有模型，不需要训练基础设施。

真正的贡献不是某个具体模型，而是这套方案：先设计潜在世界，再结合进度势能奖励塑形。对于任何需要让 Agent 学习持续数天工作流的领域，这都是可复用的基础设施。

Tev：通过密集进度奖励扩展长时程 Agent 环境（arXiv:2610.18868v1）

如果需要进一步采取行动，你可以考虑屏蔽此人和／或举报滥用行为。