只算 FLOPs,微调工期平均错了 12 小时
研究分析了共享 H200 集群上的 272 次监督微调任务,纯算力公式仅解释了实际耗时 31% 的波动,平均绝对误差达 12.41 小时。采用更细致的模型来纳入显存访问和设备间通信后,估算耗时的中位数仍仅为实测耗时的 11%。
原文暂未完整获取,基于公开信息的快读
Dharma-AI 团队分析了共享 H200 集群上的 272 次监督微调任务。只按训练算力估算,公式只能解释实际耗时 31% 的波动,平均绝对误差达到 12.41 小时。文章开头就举了一个例子:公式估了 9 小时,任务到第二天下午还在跑,排在后面的作业也跟着顺延。
目前能确认什么
常见公式用模型参数量和训练 token 数估算浮点运算量(FLOPs),再按 GPU 数量、峰值吞吐和模型 FLOPs 利用率(MFU)折算时间。MFU 会随任务配置变化,提前填进去的是假设值。即使模型进一步计入显存访问和设备间通信,估算耗时与实测耗时之比的中位数也只有 11%。
团队还用提交前就知道的配置、数据集大小和 GPU 分配等信息训练了 CatBoost,五折交叉验证的平均绝对误差降到 1.71 小时。特征重要性排第一的是评估样本总数,可训练参数量排第二。评估、检查点写入和环境准备都会占用作业时间,单算训练 FLOPs 覆盖不到这些环节。
我的判断
同一条训练流水线里,FLOPs 可以用来比较两套配置的计算量。给共享 GPU 排期时,我会按模型规模、GPU 数量和评估频率找同类历史任务,用实测耗时校准,并用历史误差的高分位留缓冲。评估策略一改,就该重新看旧排期还准不准。
目前节选只给出了 H200 上监督微调的结果。我会等完整论文确认两个细节:实测耗时从提交还是从作业启动开始算,以及交叉验证的训练折和验证折里是否出现了相同模型或相近配置。前者决定排队时间要不要另算,后者关系到 1.71 小时的误差能否作为新配置的排期参考。