基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-17 00:02

TPU 强化学习如何消除训练推理数值偏差

Google Developers Blog#强化学习#TPU#数值一致性
Editor brief · 编辑速览

文章介绍在 64 颗 Cloud TPU v5p 上,消除在线策略强化学习中训练与推理对数概率浮点偏差的方法。方案基于 Tunix,提供由 JAX 与 Pallas 实现的四部分可推广做法。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

同一份模型权重,生成 token 和训练时重新计算 token 概率,结果也可能不同。Google 团队在 Tunix 中实现的 Zero-TIM,针对的就是这条隐藏的数值裂缝:让采样与训练得到逐比特一致的动作对数概率,减少大模型强化学习中的策略偏移。

他们在 64 颗 TPU v5p 上验证了这套实现。不过,数值对齐有明确证据,更高的训练收益还要结合实验条件来看。对程序员而言,这篇最有价值的地方,是解释了为什么「权重相同」仍不足以保证「计算的是同一个策略」。

权重一样,为什么还会偏离原来的策略

大模型做强化学习时,模型就是策略:根据前面的 token,决定下一个动作 token 的概率,即 π(action | previous tokens)。同策略学习(on-policy)要求,用于更新的动作必须由当前被评估的同一个策略生成。

同步训练循环可以保证生成与评分使用相同权重,却管不到底层怎么算。

生产系统通常有两条执行路径。采样器逐个生成 token,记录行为策略的 logprob,也就是该动作概率的对数;训练器则把数据组成批次,通过前向和反向传播重新计算 logprob、更新参数。两边的输入形状、算子实现和编译环境都可能不同。

问题出在浮点数上。浮点加法不满足结合律,改变加法顺序,就可能改变舍入位置。归约(reduction)可以理解为把许多局部结果逐步加起来;这棵「加法树」变了,最终数值也可能变。bfloat16 的精度低于 float32,更容易暴露差异。

矩阵乘法、归一化统计量、张量并行分片之间的求和,都存在这种情况。JAX 还会根据输入形状专门编译计算,训练前向又处于需要求导的程序中。公式相同,不代表实际运算顺序和中间精度相同。

权重一致,只解决了策略一致性的一部分。

当这些差异进入 logprob,多轮轨迹就可能不断累积偏移:调度流程是 on-policy,数值执行却引入了隐藏的 off-policy 差距。

为什么要同时核对 decode、prefill 和训练

Zero-TIM 的目标很严格:在相同 rollout 权重、token 历史和采样设置下,采样器与训练器对同一个动作给出逐比特相同的 logprob。比较的是原始浮点字节,不做四舍五入,也不设置容差。

他们没有只比较采样和训练,而是加入 serving prefill 作为中间检查点。prefill 在这里承担完整序列重新评分的作用。

检查因此分成两步:

  • sampler decode 对比 prefill,确认服务引擎在逐 token 生成和完整序列评分时能否自洽。
  • prefill 对比 trainer,确认服务与训练跨过编译、求导边界后能否保持一致。

这套拆分的价值是定位问题。只知道采样与训练不同,很难判断差异来自增量解码、服务实现,还是训练程序;有了中间点,排查范围就清楚了。

比较对象也必须固定。prefill 和 trainer 都要评估 rollout 已经生成的动作,不能各自重新选一个 token。跨环境轮次还要保留原始 token ID,否则输入历史变了,后续的数值对比便失去了共同前提。

四处计算细节,决定能不能逐比特对齐

作者没有把采样器和训练器合并成一个大引擎,而是约束两条流水线的算术行为。

第一处是分片内部的累加。团队用不随批次变化而改变归约方式的 Pallas 内核,固定收缩块的遍历顺序,让归约分块不受 token 行数影响。局部乘积使用 float32 累加,再显式转换输出类型。

下面这段代码解决的是每个 tile 的累加与输出精度问题,累加器在遍历 tile 前初始化:

input_tile = x_ref[...]
weight_tile = y_ref[...]

partial = jnp.dot(
    input_tile,
    weight_tile,
    preferred_element_type=jnp.float32,
)
acc_ref[...] = acc_ref[...] + partial
out_ref[...] = acc_ref[...].astype(out_ref.dtype)

要看的是 acc_ref[...] = acc_ref[...] + partial:下一个 tile 延续 float32 累加器,而不是接着已经转换精度的输出计算。

这套处理覆盖 attention、MLP 投影和 LM head。RMSNorm 的归约、SwiGLU 的中间类型转换也由专门内核固定,现有 Pallas paged-attention 前向实现则保留。

第二处是跨分片求和。行并行投影中,每个张量并行 rank 都产生部分输出。团队用 ppermute 传输这些结果,再让每个 rank 按相同的来源 rank 顺序相加。通信负责搬数据,加法顺序由程序明确规定。

第三处是 logprob 计算的尾部。只对齐 logits 还不够,decode、prefill、trainer 还必须使用匹配的采样变换、相同的固定 Pallas log-softmax 构造,并选取同一个已记录动作。

第四处是让训练复用服务前向。团队通过 @jax.custom_vjp 定义自定义向量雅可比积:前向继续调用 pallas_matmul,反向用 jax.vjp 对 differentiable_matmul 构造 pullback。这个可求导副本复现累加和类型转换规则,但不提供前向结果。

此外,他们通过 XLA_FLAGS 向编译器进程传入 --xla_allow_excess_precision=false,约束 Pallas 内核周围运算的额外中间精度。

长轨迹按固定大小分块计算,并延续 paged KV cache。所有动作 logprob 仍进入完整训练批次的 RL loss,反向传播沿缓存连接传递梯度,合并参数梯度后再更新。分块并不等于切断轨迹的梯度关系。

我的判断

这项工作的可信之处,是把「一致」定义成了可核验的契约,并给出了具体实现位置。

实验使用公开的 Qwen3-8B checkpoint,在合成 FrozenLake 环境运行 200 步数值验证,硬件为 64 颗 TPU v5p,网格是 DP8×TP8。训练采用 GSPO-token loss 和 leave-one-out advantages,对比 Standard、token-level truncated importance sampling(TIS)与 Zero-TIM。

其中 Standard 使用 trainer-old logprobs,不额外做采样器修正。Zero-TIM 在每个已记录步骤的采样器与训练器 logprob 平均绝对差都为零,同时求解率上升;Standard 和 TIS 仍保留非零差异。TIS 调整差异样本对更新的贡献,并没有消除差异来源。

但求解率结论要收窄。原文没有给出具体求解率、误差条、多随机种子统计,也没有说明吞吐损失与实现成本。Zero-TIM 还采用 token-in/token-out(TiTO)保留跨轮 token ID,对照组保留各自既有的分词路径。因此,观察到的收益不能全部归因于内核数值对齐。

这组实验支持数值差距被消除,尚不足以证明它在所有任务上都更划算。

作者提到 vLLM 与 TorchTitan、RadixArk/LMSys Miles 也在推进类似方向,但没有提供跨框架对照数据。Tunix 当前成果面向 JAX/XLA、Pallas 和 TPU;linear-attention 与 Mixture-of-Experts(MoE)还在扩展支持中,不能直接当成现成能力。

相比用 TIS 等办法补偿偏移,Zero-TIM 从执行路径上消除偏移,更直接,也更依赖底层内核控制。普通团队是否采用,要看能否承担维护这些约束的成本。

能拿来做什么

  • 如果团队在做 LLM 强化学习,可以先建立 decode、prefill、trainer 三路评分检查,固定权重、token ID、历史和采样设置,再追踪差异从哪一步出现。
  • 如果维护多轮 agent 训练流水线,可以检查环境交互后是否重新分词,并借鉴 TiTO 保留采样 token ID。先确认输入相同,再讨论数值对齐。
  • 如果使用 JAX/TPU,可以按分片内累加、分片间求和、logprob 尾部、求导边界逐项排查,并单独评估 --xla_allow_excess_precision=false 对现有程序的影响。
  • 如果日常只是通过前端或 Node 调用模型 API,可以把这篇用于理解训练基础设施的边界;原文没有提供应用层改造方案,不能据此承诺调用结果会变得完全确定。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 Google Developers Blog,原文版权归原作者所有。

阅读原文
上一篇
Bedrock 知识库新增表格检索与计算
下一篇
免费 AI 应用如何记账、限流与控预算

资讯速览

Google Developers Blog · 2026-11-17 00:02

AI 评分 8.0 / 10

相关标签

#强化学习#TPU#数值一致性

继续阅读

  • Qwen4-Max 发布,主打低成本旗舰能力
  • Bedrock 知识库新增表格检索与计算
  • 免费 AI 应用如何记账、限流与控预算
  • 用 ADK 快速接入 MCP 文件工具
  • Claude Code 用脚本批量编排工具调用