TPU 优化指南:从模型维度到通信布局
tpu-codesign 指南针对大模型和 MoE 工作负载,给出基于 TPU 硬件特性的设计规则。内容包括归约与输出维度按 256 对齐、用 LatentMoE 压缩路由通信,以及将并行轴映射到物理链路。
AI 深度解读
TPU 跑模型快不快,很大一部分在模型定义时就决定了。Google 这份指南的核心主张是:模型维度、专家结构和并行方式,要配合硬件设计。只看参数量和 FLOPs,很容易选出理论便宜、实际更慢的方案。
对国内前端和全栈开发者,它更适合用来理解模型服务的成本与延迟,而非直接照抄配置。最有价值的部分,是作者把硬件约束、实测收益和适用条件放到了一起,也提醒我们:吞吐上涨,未必代表用户更快拿到答案。
为什么模型维度会提前锁住性能上限
Ironwood,也就是 TPU v7x,使用 256×256 的矩阵计算阵列。作者建议把 d_model、FFN 和专家中间宽度 d_ff、latent 宽度、注意力投影及补齐后的词表维度,都设为 256 的倍数。token、batch,以及头数、层数、专家数不受这条规则约束。
最容易漏掉的是 head_dim。取 64 或 128 时,flash-attention 的 QK 乘法会让 MXU 至少一半闲置。作者把 Qwen3-30B MoE 的注意力从 32 × 128 改成 16 × 256,保持参数量和 FLOPs 相同,训练速度提高,且上下文越长收益越大。不过,输入原文没有给出这项实验的具体增幅,不能补一个数字。
静态形状是另一条基础规则。XLA 按精确张量形状编译,形状变了就可能重新编译,让主机等待。动态请求仍然能处理,关键是固定容器尺寸,再记录里面实际装了多少数据。
请求可以分到少量预编译的长度和 batch 桶中,启动时预热;训练用 MaxText 的 packing=True 打包序列,减少无效填充。对 dropless MoE 和分页注意力,则用小整数数组记录专家分组、偏移、KV 长度和页表,由 Pallas 的 PrefetchScalarGridSpec 提前送入标量内存。
这样,动态变化落在地址和循环次数上,编译程序可以复用。
但「质量风险接近零」仍是作者对这类改动的归类。尤其把多个注意力头合并成更宽的头,会改变注意力结构;作者的消融结果支持其方案,不能据此保证所有模型都等质量。
MoE 为什么会卡在搬数据上
MoE 每次只激活部分专家,看起来节省计算,却多了 token 分发、专家权重读取和结果合并。作者在 Ironwood 上发现,标准专家并行 EP 搭配 FSDP,反而比单用 FSDP 更慢。FSDP 可以理解为把模型状态分散存放,计算前再收集所需权重。
LatentMoE 的做法是:先在完整 d_model 上决定路由,再把 token 压到 latent 宽度 ℓ,交给专家计算,最后投影回来。压缩比 d/ℓ 通常约为 2–4×,既减少通信,也减少专家权重读取。
作者对一个 30B、128 专家的模型使用 ℓ = 768,压缩比 2.67×,设备内重排时间缩短 2.8 倍,训练吞吐提高 14% tokens/s。计算吞吐则从 270 升至 322 TFLOP/s/chip,约提高 19%,因为新增投影让每 token FLOPs 增加约 5%。把重计算检查点放在压缩表示上,还释放了约 25 GB/device 的激活 HBM。
判断模型优化,先看完成同样任务需要多少时间,再看每秒做了多少运算。
专家也不是越细越好。每个专家分到的 token 太少,矩阵阵列同样吃不满。作者在 63B LatentMoE 上,把 (N, K) 从 (512, 16) 改成 (256, 8),同时加倍 d_ff 和共享专家宽度,在 512 颗 TPU v7x、EP = 128、8K 上下文下,训练吞吐提高 57%,并在 120.8B tokens 的训练范围内保持更低 loss。
这个实验有价值,但它同时改变了多个结构因素,不能把全部收益归给「专家减半」。共享专家更大、专家更宽的路线,也需要在目标规模上验证质量。
训练吞吐和用户等待时间,为什么要分开算
低并发 decode 经常受显存带宽限制:每生成一个 token,都要读取大量权重。原文估计,dense FP8 要达到计算上限,每个权重分片约需 300 个并发 token。
一个例子更直观:Qwen3.5-397B 以 FP8 分到 4 颗芯片,在 batch 覆盖全部专家时,每颗约需读取 100 GB 权重,仅权重读取就有约 13.5 ms 的时间下限,还没算 KV cache。实际并发很低,却拿大 batch 吞吐来规划服务,预算容易失真。
MoE 也不能只按单个请求激活的参数量估算。batch 增大后,不同请求访问的专家会形成更大的并集;均匀路由假设下,涉及专家数为 E × [1 - (1 - K/E)^B]。真实路由还有热点,必须测最忙设备的负载。
作者提出两条改善路径。一条是聚合更多芯片的 HBM 带宽,同时压低通信延迟。TPU 8i 的 Boardfly 配合 Collectives Acceleration Engine(CAE),片上集合通信延迟最多降低 5 倍,片上 SRAM 是此前的 3 倍;TPU 8i Max 再把每封装计算、SRAM 和 HBM 带宽加倍。
另一条是多 token 预测 MTP,让一次权重读取服务多个候选 token。原文引用 DeepSeek-V3 的 85–90% 接受率,以及 Nemotron 3 约 97% 的双 token 接受率。但真正该量的是完成草拟、验证和回滚后,净交付的 tokens/s。
并行和量化也要服从同一逻辑。训练推荐 TP = 2,映射到双 chiplet;TP = 4 通常需要 MLP > 约 46K 才有足够计算掩盖通信。decode 受权重读取限制,则可能适合更宽 TP。
量化后也未必更快。VPU 负责缩放、激活和路由等工作,吞吐比 MXU 低约两个数量级。原文模拟中,FP8 block 512 接近 per-tensor 耗时,block 256 慢到 1.2 倍,block 128 慢到 2.4 倍。这是 Ironwood 上的模拟结果;TPU 8t 对 MXFP4、MXFP8 的缩放有专门支持,不能复用同一阈值。
我的判断
我认同这份指南的优先级:先修系统和形状,再讨论模型结构。作者在一个开放 30B MoE 上,仅靠 SparseCore offload、矩阵分块和重计算调优,就把 MFU,也就是模型计算利用率,从 12% 提高到 23%。没有调好的基线,很容易把系统问题误判成模型问题。
但这些证据有边界。主要自测覆盖开放的 20–30B MoE,包括 Qwen3-30B 派生 LatentMoE、GPT-OSS-20B 和 dense 对照,采用 BF16、训练序列最长 32K,主要在单 slice 上进行。原文明确要求把趋势作为参考,把百分比视为配置相关结果。后面的 >64K 长上下文建议,不能当作已经被这组实验完整验证。
公开参考中,DeepSeek-V3、Qwen3-235B 达到 608–630 BF16 TFLOP/s/chip,未对齐的 GPT-OSS-120B 为 330。但模型不同,约 2 倍差距不能全部算到维度对齐头上。
与改模型相比,并行映射和算子调优更适合已有 checkpoint。tpu-recipes 中 SparseCore 异步集合通信及 sparse-gather offload 带来 15–22% step time 降幅,属于值得先验证的系统方案。LatentMoE、MTP 则涉及结构和训练投入,普通应用团队未必有条件采用。原文也没有完整的跨平台成本对照,不能据此断言 TPU 对所有团队都更便宜。
能拿来做什么
- 评估自部署模型时,把真实并发、上下文长度、KV 占用和净输出 tokens/s 一起交给服务团队。Node 接口承受的请求数,需要换算成模型端实际同时处理的序列数。
- 已有 TPU checkpoint 的团队,可以先检查 XLA 重编译、padding、并行通信和 SparseCore offload,再决定是否承担结构改造成本;用 XProf 的
profiler=xplane获取证据。 - 比较 AI 编程服务时,分别观察首 token 等待和持续生成速度。后者变快,不能证明前者改善,也不能替代完整请求耗时。
- 做模型实验时,同时记录质量、墙钟时间和显存占用。tokens/s 增长 14% 与 TFLOP/s 增长 19% 可以同时成立,选哪个指标,要看最终交付目标。