用 Tunix 与 Gemma 4 训练多轮工具智能体
教程介绍在 Cloud TPU 上使用 Tunix 和 Gemma 4 训练多轮工具调用智能体。方案结合智能体 GRPO 与异步 vLLM 采样,旨在提升交互推理及工具调用的指令遵循能力。
AI 深度解读
让模型调用一次工具,与让它连续调用工具、根据反馈修正策略,是两种训练难度。Google 这次用 Tunix 和 Gemma 4 E2B 做了一个小型验证:在单台 Cloud TPU v6e-8 上训练多轮游戏智能体,100 步后,留出棋盘上的胜率从 9.4% 提升到 95%,平均出手次数降到约 16 次。
这篇最值得看的,是一条工具调用轨迹怎样进入强化学习:环境怎样给反馈,工具返回怎样接回模型,训练又怎样比较不同策略。它展示了一个可检查的闭环,但还不足以证明同样的方法能直接训练出可靠的编程智能体。
为什么一个打飞机游戏能检验多轮智能体
Plane Strike 的棋盘只有 6×6,坐标从 A1 到 F6。棋盘里藏着一架占据 8 格、朝向有 4 种可能的飞机。智能体每轮看到上一次攻击结果,以及当前可见棋盘:. 代表未尝试,X 代表命中,O 代表未命中。
它只能调用 strike(cell="...") 攻击一个格子。命中全部 8 格就获胜,最多允许攻击 23 次。
这个任务小,却包含多轮智能体的几个关键难点:信息不完整,要主动试探;新反馈会改变候选位置;重复攻击会浪费预算;工具格式正确,也不代表决策正确。
作者把此前使用的自定义 MLP 策略换成开启 thinking mode 的 google/gemma-4-E2B-it。模型原本已经具备一定空间推理和工具调用能力,但在留出棋盘上,初始胜率只有 9.4%,平均需要 22.44 次攻击,接近次数上限。
能写出合法工具调用,只是智能体完成任务的起点。
这里的优化目标很具体:利用历史反馈,在有限次数内找齐目标。它比只检查一次回答是否正确,更接近需要反复观察、行动、纠错的任务。
工具返回为什么必须接回同一个模型回合
Tunix 将训练流程拆成四部分:任务环境、工具与聊天模板解析器、对话智能体,以及轨迹采集和 GRPO 学习器。
环境通过继承 BaseTaskEnv 实现 PlaneStrikeEnv。任务字典中的 seed 固定隐藏飞机的位置,使同一个 GRPO 分组里的 8 次 rollout 都面对同一棋盘。rollout 就是让当前策略实际玩一次,收集完整过程。
这个安排让组内比较更公平:策略表现的差别,不会直接混入棋盘难度差异。每次攻击后,_step_impl 更新可见棋盘、计算奖励,并返回 EnvStepResult(observation, reward, done, info)。单步奖励最终累加成整局轨迹奖励。
另一个容易出错的地方,是 Gemma 4 的原生工具协议。工具声明放在系统提示的 <|tool>declaration:...<tool|> 中。模型调用工具时,会生成下面这样的内容:
<|channel>thought
...model reasoning...
<channel|><|tool_call>call:strike{cell:<|"|>C5<|"|>}<tool_call|><|tool_response>
要看最后的 <|tool_response>:它是暂停生成、等待工具结果的原生停止 token。收到 response:strike{value:<|"|>...<|"|>}<tool_response|> 后,模型继续同一个 assistant 回合。
因此,Gemma4ToolChatTemplateParser 继承 Gemma4ChatTemplateParser,负责补入工具声明,并把工具消息渲染成回合内部的响应。最后一条消息来自工具时,设置 add_generation_prompt=False,避免错误地开启新回合。
PlaneStrikeAgent 则继承 ConversationAgentBase,连接环境观察与模型消息。如果模型停在工具等待位置,下一次观察就以 role="tool" 加入历史。
动作解析也有明确边界:tool_strike 忽略 thought 区域,只从 <channel|> 后的最终答案提取调用;只有一个合法的 strike 调用才算有效,否则返回 INVALID_ACTION。推理文本中出现坐标,不等于执行动作。
普通多工具任务还可以使用 tunix.rl.agentic 提供的 ToolEnvironment、ToolAgent 和 ToolManager,减少自定义消息传递代码。
100 步训练提升了什么,又靠哪些配置跑起来
多轮训练的一项工程难点,是每局长度不同。短局先结束,长局还在生成,采样容易成为瓶颈。作者使用异步 vllm rollout 引擎,通过 rollout_vllm_server_mode=True 启用 vllm-tpu 的连续异步多轮采样,再用 enable_prefix_caching=True 缓存不断增长的对话前缀。
单台 v6e-8 的 8 个芯片由 actor、reference model 和 rollout workers 共享。配置使用 rollout_vllm_tpu_backend_type="jax"、dtype="bfloat16",架构指定为 Gemma4ForCausalLM;final_logit_softcapping 在顶层和 text_config 中均设为 30.0。
协议相关配置同样关键:eos_tokens 包含 tokenizer 的结束 token、<turn|> 和工具响应起始 token,skip_special_tokens=False 保留特殊 token,供后续解析。采样设置为 top_p=1.0、top_k=0,并开启 return_logprobs=True;temperature 由命令行参数传入,原文没有展示具体值。
长度预算分别来自 max_prompt_length 和 max_response_length,kv_cache_size 设为二者之和再加 256。
训练侧通过 RLEngine 和 PlaneStrikeGRPOLearner 接入模型、环境与智能体,使用 ClusterConfig、GRPOConfig,其中设置 loss_algo="gspo-token"、advantage_estimator="rloo"。exact_token_continuity=True 用来保持多轮轨迹的原始 token ID,避免重新分词造成漂移;轨迹采集由 TrajectoryCollectEngine 等组件承接。
作者用以下命令启动 100 步训练:
python train_planestrike.py \
--run_dir runs/grpo_6x6_tool_thinking_100 \
--learning_rate 2e-6 \
--lr_end 2e-7
其中 --learning_rate 2e-6 和 --lr_end 2e-7 给出了学习率的起止值。每步包含 8 个棋盘,每个棋盘采样 8 局。
指标呈现出先学会守协议、再改善策略的顺序:game/train/tool_call_rate 很快接近 100%,game/train/invalid 接近 0,game/train/repeats 从约 0.55 降到约 0.15。原文没有解释 repeats 的具体统计分母,不宜直接当作重复攻击概率。
胜率从初始训练采样的约 0.20 升至约 0.95,平均局长从约 22 次降至约 16 次。这里要区分口径:训练初始约 20%,留出评估初始是 9.4%,并不是同一组数字。
我的判断
我认可这套实验把「调用是否合法」和「任务是否完成」分开检查。一个智能体可以完全遵守工具协议,却持续选择低价值动作。单看格式正确率,很容易高估系统能力。
但这个实验有清晰前提:动作空间小,反馈明确,胜负可以自动判断,失败后也能重新开局。真实编程任务常有模糊目标、跨文件副作用,以及测试未覆盖的问题。这里的胜率提升,不能直接外推到前端项目修改或复杂工具链。
奖励分配也还比较粗。作者明确说,当前一局中的所有攻击共享轨迹级奖励。最终赢了,哪些攻击真正缩小了搜索范围,哪些只是浪费次数,训练信号没有细分到每轮。这是后续可改进方向,原文没有给出改进后的对照结果。
此外,原文未报告训练耗时、成本、留出评估规模或多次重复实验,也没有与更强提示词、显式候选位置搜索、规则策略作对照。「容易且高效」更多是作者对框架使用体验的判断,现有数据不足以支持通用性价比结论。
这是一份有价值的训练实现示例,还不是选择强化学习的充分理由。
能拿来做什么
- 做日常 AI 编程工具时,可以分别记录调用合法率、无效调用、重复动作和最终任务成功率。不要因为模型稳定输出工具格式,就认定它已经会解决问题。
- 实现多轮工具适配时,先核对模型的停止 token、工具返回格式和回合延续规则。本文的具体协议属于 Gemma 4,迁移到其他模型时需要重新核对。
- 尝试类似训练前,先选一个能稳定复现、自动判定结果的窄任务,并固定评估样本。可以借鉴同一任务多次采样的比较方式,同时保留独立的留出评估。
- 决定投入强化学习前,先建立提示词和规则策略基线。只有确认瓶颈来自多轮决策,再承担轨迹采集、奖励设计和训练的复杂度。