HyperPod新增训练恢复与故障检查
SageMaker HyperPod 新增工作负载恢复及扩展基础设施检查,针对节点看似健康但训练停滞或结果错误的情况。更新旨在提前发现故障,提高训练的有效计算产出。
AI 深度解读
GPU 通过压力测试,训练照样可能算出错值。Slurm 显示 running,任务也可能卡在 NCCL 超时上,一直占着卡。AWS 在 SageMaker HyperPod 里补了三种检查,分别用小模型验收 GPU、把 Kubernetes 故障关联到训练任务,以及发现并重新排队卡死的 Slurm 作业。
这篇最值得看的是每种检查凭什么判断故障,以及发现问题后会做什么。对写服务或维护 CI 的程序员,同样有个实用问题:健康检查能证明进程活着,那什么信号能证明任务还在往前走?
GPU 通过压力测试,为什么还要跑一遍训练?
HyperPod 原有的 Health Monitoring Agent(HMA)会监测 Xid、NVLink、Elastic Fabric Adapter(EFA)和内核错误。InstanceStress 会运行 DCGM level 4 诊断,覆盖 GPU、显存和互联设备。InstanceConnectivity 会跨实例跑 NCCL,AWS Trainium 则跑 NCCOM。这些检查各有覆盖范围,生产训练仍可能遇到静默数据损坏。原文引用的例子是,Meta 用 54 天预训练 Llama 3 405B,419 次非预期中断里有 6 次归因于静默数据损坏。
MultiNodeTrainingValidation 给 EKS 集群加了一道参考训练。先用 Tiny Megatron 在每台实例的所有 GPU 上跑一小段 Megatron-LM,再让同类型实例通过 EFA 一起跑。任一阶段出现 NaN 或无穷大的 loss,或者超时,该实例就会被标记为失败。开启自动节点恢复后,HyperPod 会重启或替换失败实例。随实例供应执行时,这一步发生在实例接收业务任务之前。
下面是作者传给 create-cluster 或 update-cluster 的实例组配置,三项深度检查一起开启。
{
"InstanceGroupName": "<instance-group>",
"InstanceType": "ml.p5.48xlarge",
"InstanceCount": 2,
"LifeCycleConfig": {
"SourceS3Uri": "s3://<bucket>/<prefix>",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::<account-id>:role/<hyperpod-execution-role>",
"OnStartDeepHealthChecks": [
"InstanceStress",
"InstanceConnectivity",
"MultiNodeTrainingValidation"
]
}
看 OnStartDeepHealthChecks 最后一项,它把参考训练加入实例创建或更新时的检查。可以用 aws sagemaker describe-cluster 配合 --query "InstanceGroups[?InstanceGroupName=='<instance-group>'].OnStartDeepHealthChecks" 核对。已有容量可以用 StartClusterHealthCheck API,CLI 是 aws sagemaker start-cluster-health-check,通过 --deep-health-check-configurations 传入 InstanceGroupName 和 DeepHealthChecks,还可以加 InstanceIds 指定实例。
作者在两台 ml.p5.48xlarge、共 16 张 H100 上跑了这套检查。两台节点都显示 Passed,示例中的 Kubernetes 版本是 v1.34.2-eks-ecaa3a6。rank 0 的日志记录了 300 次迭代,耗时 161.5 秒,loss 从 11.5671 降到 3.6213。整轮深度检查在生命周期脚本结束后耗时 1 小时 28 分钟,DCGM level 4 占了大头,两项训练测试合计增加约 8 分钟。扩容时,这段时间要算进新卡可用的时间。
训练挂在某个 rank,怎样找到对应的 Pod?
HyperPod Kubernetes Resource Monitoring Agent 在 aws-hyperpod 里以单 Pod 运行,优先调度到 CPU 节点。它盯的是训练依赖的资源,例如节点可分配 GPU 或 EFA 数量下降、污点变化、设备插件反复崩溃、必需的 DaemonSet 缺失。它能关联 HyperPodPyTorchJob、Kubeflow PyTorchJob(v1)和 TrainJob(v2),在任务失败时把原因和相关 Pod、节点一起写出来。
即时排查看 Kubernetes 事件,Warning 记录故障,Normal 记录恢复。事件过期后,还可以查 CloudWatch 里的结构化日志。作者用一个反复退出的 DaemonSet 模拟设备插件崩溃,几秒内看到了 CriticalPodRestarted 和 CriticalPodCrashLoop。他们又让双节点训练里的一个 rank 退出,收到了 TrainingJobFailed,CloudWatch 同时记录了相关 Pod 和节点。这个 Agent 负责报告,重启节点和重跑任务由对应的恢复组件负责。
已有集群通过 helm upgrade 启用时,要先用 kubectl apply 安装 CRD,可以用 --dry-run=server 预览升级,因为同一 chart 里的 HMA 和设备插件也可能跟着升级。自定义 monitoredNamespaces 或 necessaryDaemonsets 会整体替换默认列表。必需 DaemonSet 默认只有 HMA,想让设备插件缺失也触发报告,要把插件加进去并保留默认项。
跨节点通信还能再查一层。NCCL 2.24 起内置 RAS,启用后 Agent 每 30 秒读取各训练 Pod 的通信状态。下面是原文让 Agent 访问 RAS 的配置片段。
apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPyTorchJob
...
containers:
- name: pytorch
env:
- name: POD_IP
valueFrom:
fieldRef: {fieldPath: status.podIP}
- name: NCCL_RAS_ADDR # set only after the NetworkPolicy is in place
value: "$(POD_IP):28028"
看最后一行,监听地址从回环地址移到了 Pod IP。先用 NetworkPolicy 把 TCP 28028 的访问限制到监控 Agent,同时保留训练 Pod 之间的通信。可以用 NCCL_DEBUG=INFO 和 NCCL_DEBUG_SUBSYS=INIT,RAS 核对监听地址。作者让双节点任务的一个 rank 停止调用 all_reduce,下一轮报告就给出了 MISMATCH,rank 0 执行到第 3078 次,rank 1 停在第 3077 次,并列出了对应的 GPU、进程和节点。
Slurm 显示任务在跑,怎么判断它已经卡住?
HyperPod 按任务启用挂起检测,环境变量指向规则文件。节点上的 Agent 根据任务输出和 GPU 活动,或用户定义的日志模式来判断进展。触发规则后,它会往 CloudWatch 写事件,也可以取消任务,让 Slurm 重新排队。原文称 PyTorch、TensorFlow、JAX 和自定义脚本都能用,训练脚本与容器无需修改。EKS 已有经 HyperPod training operator 的挂起检测,Ray Train 默认也带检测。
AWS 用一笔假设账说明为什么要查进展。32 台 ml.p5.48xlarge 共 256 张 H100,任务从凌晨 1 点卡到早上 9 点,会耗掉 256 实例小时或 2,048 GPU 小时。按文中美国东部(弗吉尼亚北部)约 66 美元每实例小时的价格,费用约 16,900 美元。套用 15 分钟的检测规则,挂起占用费用约 530 美元,差额约 16,400 美元。这笔账算的是卡住后继续占用的时间。给出的原文在工作原理处截断,环境变量名、规则格式和重排后的恢复细节都没交代。
我的判断
这三项能力的价值可以按 AWS 文中的 goodput 来看,也就是集群时间里有多少真正用在有效训练上。细分下来,先看资源是否凑齐,再看任务是否推进,最后看程序用了多少硬件峰值性能。Slurm 的例子直接算的是第二项。重新排队之后要等多久、已有进度能保住多少,还得看队列和 checkpoint。
固定小模型的做法有道理。把模型和输入固定下来,排查时就少了业务代码变动这个变量。两节点实测表明参考训练能跑通,也给出了耗时。至于能抓住多少生产中的静默错算,原文没有故障检出率或对照数据,扩容和长训前值得跑属于运维经验。Kubernetes 的故障注入则更具体,至少展示了遇到这几种故障时,事件和日志能把排查范围缩到哪些对象。
对已经维护 Slurm watchdog 的团队,托管检测的直接收益是少维护一套脚本和告警。要不要自动取消还得看应用。数据加载、评估或 checkpoint 写入都可能让任务暂时安静,15 分钟是算账用的规则,原文没有给出误报率,也没有给出适合不同工作负载的阈值。
能拿来做什么
- 给 Node 批处理或 AI 编程任务加一个能代表进展的信号,例如处理完成的批次数或最近一次落盘时间。先观察耗时最长的正常阶段,再给停滞告警定阈值。
- 接手跑在 Kubernetes 上的全栈服务时,把失败任务的 Pod、节点和退出原因写进同一条结构化日志。先核对任务所在的 namespace 是否被监控,再用一次受控失败检查日志能否定位到实例。
- 给训练任务启用自动取消前,先观察告警会不会打中正常的评估或 checkpoint 阶段,再验证任务重排后能否从最近的 checkpoint 恢复。