按工作负载规划多云 GPU 容量与成本
文章将训练、微调、批量推理、在线推理和开发分别做容量规划,并用目标延迟下测得的吞吐量推算在线推理副本数。成本控制涉及按负载匹配采购方式、让训练靠近数据,以及按团队和模型追踪单位成本。
AI 深度解读
多云 AI 基础设施最容易算错的,不是 GPU 单价,而是把训练、在线推理和批处理当成同一种资源需求。作者的结论很明确:按工作负载分别规划,用真实压测计算推理副本,再把容灾、数据传输和采购承诺一起计入成本。
这份指南由 Control Plane 发布,后半段带有产品推广,但前面的容量公式和成本口径值得拿走。对正在自建模型服务的全栈团队,它能帮助回答两个具体问题:到底需要多少张卡,以及账单为什么比预估高。
先按任务拆容量,再决定怎么买 GPU
训练、微调、批量推理、在线推理和开发,不能只放进一个 GPU 总预算。它们对延迟、运行连续性和部署位置的要求不同,共用一套采购与扩缩容规则,很容易按最忙的任务买足资源,再让其他时段空转。
大型训练需要连续占用资源,还依赖数据位置和高速互联。作者建议提前预订容量,尽量让训练靠近数据。在线推理面对实时用户,更适合用承诺用量覆盖稳定基线,用按需实例承接波峰。微调、小型单节点训练和批量推理,如果能够保存检查点,则可以考虑 Spot。
检查点就是保存可恢复的中间状态。Spot 被回收后,任务从最近一次存档继续,但存档之后的计算仍然会损失。大型多节点训练尤其敏感:一个节点被回收,整个同步任务都可能停止。因此,便宜的 GPU 小时并不自动等于便宜的训练结果。
采购折扣和容量保障是两件事。
AWS Savings Plans、Reserved Instances,Google Cloud 的 committed use discounts,以及 Azure Reserved VM Instances、Azure savings plan for compute,都涉及一年或三年的承诺。作者提醒,Savings Plans 和按支出承诺的折扣不保证 GPU 有货;需要确定开跑时间时,还得安排容量预留。
原文列出的训练采购渠道包括:AWS EC2 Capacity Blocks for ML 可预订 GPU 或 Trainium,时长为 1 至 182 天,最多提前八周,且不可取消;Google Cloud Dynamic Workload Scheduler 提供可等待资源的 Flex-start,以及预留 1 至 90 天加速器容量的 Calendar 模式。
Azure on-demand capacity reservations 没有期限承诺,按按需价格收费,但只支持部分 GPU 系列,不覆盖原文提到的 ND-series 和 NCads H100 v5。相关大型训练容量通常需要直接与 Microsoft 协调。
这些是原文提供的采购规则,具体使用前仍需核对适用机型与地区。作者倾向 GPU 采用一年承诺,并建议每月复查利用率、分批购买、错开到期时间;理由是三年内可能换模型或换 GPU,但这属于风险管理建议,并没有收益对照数据。
推理需要多少 GPU,要从延迟达标的副本吞吐算起
作者没有从「一个模型需要几张卡」直接推导整个服务规模,而是先计算每个地区需要多少副本:
副本数 = 向上取整〔该地区峰值输出 tokens/秒 ×(1 + 余量)÷ 延迟目标内的单副本实测输出 tokens/秒〕。
GPU 数 = 副本数 × 每副本 GPU 数,再加故障预留。
这里最重要的限定是「延迟目标内」。压测要使用自己的模型、量化配置、服务运行时,以及真实的输入和输出长度分布。原文列出的运行时包括 vLLM、TensorRT-LLM、NVIDIA Dynamo-Triton。
长输入会增加预填充(prefill)负担,拖慢首 token 返回时间;输出生成处于解码(decode)阶段,受显存带宽限制。KV cache 则会占用显存,限制同时服务的序列数量。应该先找出仍满足首 token 延迟和 token 间延迟要求的并发上限,再读取那个并发下的吞吐。
每副本用几张卡也不能省略。原文举例,700 亿参数模型在 16-bit 精度下,仅权重就需要约 140 GB;放到 H100 这类 80 GB GPU 上,需要通过张量并行拆到两张或更多 GPU,实际还要考虑运行时和缓存占用。
作者给出一个演算案例:80 亿参数模型,每副本一张 GPU,在延迟达标时达到每秒 1,500 个输出 tokens,预留 25% 余量。
| 地区 | 峰值输出 tokens/秒 | 计算结果 | 加一个备用副本 |
|---|---|---|---|
| A | 6,000 | 6,000 × 1.25 ÷ 1,500 = 5 | 6 张 GPU |
| B | 3,000 | 结果为 2.5,向上取整为 3 | 4 张 GPU |
这组数字明确是示例,不是作者披露的生产压测结果。
容灾还需要单算。若 A 故障时两地都处于峰值,B 要承接每秒 9,000 个输出 tokens,计算结果为 7.5,取整后需要 8 个副本,再加一个备用,共 9 张 GPU。
普通余量通常取 20% 至 30%,但它不能代替故障预留。防单节点故障可以多留一个副本;防可用区故障,则必须让剩余可用区承担全部峰值。原文举例,正常需要 5 个副本、分布在 3 个区时,可按每区 3 个、总计 9 个配置。
作者也承认,容灾可以选择常驻额外资源、故障后扩容,或者接受响应变慢。按需扩容依赖当时有空闲 GPU,新副本加载权重还需要数分钟,无法覆盖故障最初几分钟。
多云账单不能只看 GPU 小时
训练数据跨云搬运,会同时产生出站流量费和传输等待。推理副本启动时,如果从远端拉取权重,也会增加冷启动时间和流量费。
作者因此建议:训练靠近数据,每个推理地区缓存权重和服务镜像,检索数据尽量放在服务所在地区;适用时传输 LoRA adapters,减少完整模型复制;遥测数据离开云环境前先采样。
成本归属也要统一。GPU 实例、存储卷和容器应标记团队、模型、环境、工作负载类型与云厂商。共享 GPU 节点可通过 OpenCost 或云厂商的 Kubernetes 成本分摊能力,按 namespace 或 label 分配;无法直接标记的流量费、支持费,则需要明确分摊规则。
账单可以归一到 FinOps Foundation 发布的 FOCUS,即 Open Cost and Usage Specification,再按团队和模型比较开销。最终应关注每 1,000 个 tokens 成本,以及分类、embedding 接口的每请求成本。输入与输出 tokens 要分开统计或加权,因为输出生成消耗更多 GPU 时间。
GPU 显示繁忙,不代表计算资源用得高效。
原文指出,nvidia-smi 的利用率表示有内核运行的时间占比,可能高估效率。推理应结合 NVIDIA DCGM profiling metrics 中的 SM 活跃度和显存带宽利用率,训练则可关注模型 FLOPS 利用率 MFU。预算和异常告警也应按团队、模型设置,避免失控任务在数小时内耗尽预算。
我的判断
这篇最有价值的是把容量规划与服务目标连起来:先定义可接受的延迟和故障行为,再算资源。对自建推理服务,比单看 GPU 型号或厂商吞吐宣传更有操作性。
但公式仍是规划起点。输出吞吐相同,输入长度、并发分布不同,服务表现也可能不同;原文没有给出完整压测配置、真实流量曲线或多云节省比例。因此,20% 至 30% 余量、一年承诺更稳妥等判断,应当作为经验参考。
单云多区也是应该纳入比较的方案。多云增加采购选择,却同时增加权重副本、网络传输和工程维护开销。原文没有证明这些成本一定能被更低 GPU 单价抵消,更没有证明一般团队需要一开始就上多云。
Control Plane 的产品部分同样要分开看。它用 GVC 定义一组部署位置,每个工作负载会运行在所属 GVC 的所有位置,再通过 DNS 将用户引向就绪位置。统一部署和日常运维有价值,但 Capacity AI 的 CPU、内存自动调优不适用于 GPU 工作负载。平台也明确写了 GPU 供应受可用性限制,不能把平台接入能力当作容量保证。
能拿来做什么
- 如果团队通过 Node 服务承接自建模型请求,先补齐输入 tokens、输出 tokens、首 token 延迟和并发数据,再用真实请求长度压测,计算各地区副本数。
- 把在线推理基线与批量任务分别预算。支持检查点的微调或批处理可以评估 Spot,同时把中断后的重算损失纳入成本。
- 在扩展到第二个云之前,列出权重分发、数据出站、备用副本和维护时间,比较单云多区与多云方案的完整开销。
- 给每个模型建立单位成本报表,将 GPU、存储、流量和平台费用计入,并分别观察输入与输出成本,避免只靠 GPU 利用率判断是否省钱。