HyperPod 增强 GPU 训练故障诊断
Amazon SageMaker HyperPod 新增基础设施可观测能力,整合训练任务的诊断和性能分析。功能覆盖 EKS 与 Slurm 调度环境,帮助定位 GPU、网络及主机层的问题。
AI 深度解读
分布式训练变慢,最费时间的往往是找到拖后腿的那块 GPU:是硬件报错、温度过高,还是节点间网络出了问题?AWS 这次给 Amazon SageMaker HyperPod 增强可观测性,重点就是把设备指标、训练任务和异常诊断放到同一条排查路径里。
它同时覆盖 Amazon EKS 和 Slurm,通过同任务 GPU 对比与静态规则缩小故障范围。对使用 HyperPod 的团队,这是直接可用的运维能力;对其他程序员,更有参考价值的是它如何把「看到性能下降」推进到「找到具体设备和证据」。
为什么平均利用率解释不了训练变慢
分布式训练中,一块不健康的加速器就可能拖住整个任务。集群平均 GPU 利用率下降,只能告诉你结果,很难回答原因。
HyperPod 的诊断摘要用了两种互补方法。
第一种是 GPU 离群检测(outlier detection)。它调用 Amazon CloudWatch 的 DetectGroupOutliers API,在同一个训练任务内比较各 GPU 的利用率、显存使用、温度、功耗和 SM 时钟频率。明显偏离同伴的设备会显示为异常卡片,EKS 和 Slurm 任务都支持。
这里的关键是比较对象。同一个任务里的 GPU 通常更有可比性,比起只盯整座集群的平均值,更容易发现局部异常。SM 时钟可以理解为 GPU 执行计算时的核心工作频率,利用率异常时,把频率、功耗和温度放在一起看,才有机会区分负载不足与降频。
第二种是静态诊断规则,识别已经知道的故障模式:
- 硬件方面检查 ECC 显存错误、XID 故障和加速器故障。
- 网络方面检查 EFA 吞吐下降、丢包与重传。
- 降频方面检查温度、板卡或可靠性限制引起的时钟节流。
- 过热方面检查 GPU 温度是否超过配置上限。
EFA 是这里节点间通信的网络层。训练变慢时,即使 GPU 本身没有硬件故障,通信受阻也可能让计算设备等待。
异常诊断的价值,在于把问题关联到具体任务、节点、加速器和 rank。
rank 是分布式任务中进程的编号。有了这些关联,团队才能从告警进入对应任务,再找到设备和证据图表。原文称事件详情会展示与集群平均值的对比,但没有交代离群检测的阈值、观察窗口和误报率。
默认采集够不够,取决于你要排查什么
增强可观测性分成默认指标和高级指标。
默认指标自动启用,覆盖集群健康、CPU、磁盘、操作系统使用情况、GPU 利用率与温度,以及每个任务的资源使用。采集间隔为 30 秒。AWS 给出的资源开销约为 1–2% CPU 和 250–300 MB 内存,但没有说明测试环境与统计口径,不能直接当成所有集群的保证值。
高级指标需要主动开启,包括完整的 node exporter 主机指标、全部 NVIDIA GPU DCGM 与 AWS Neuron 指标,以及 EFA 网络指标。它们补充时钟、功耗、PCIe 活动、错误指示、网络吞吐、丢包和重传等信息。
代价是更多遥测数据进入指标存储,带来额外费用。AWS 的建议是,小集群上的小任务未必需要全部开启;大集群、长时间训练则更需要这些数据来观察持续出现的异常模式。
存储端现在有两个选择:Amazon CloudWatch 成为新默认项,可直接通过 CloudWatch SageMaker Insights 查看;已有 Prometheus 和 Grafana 体系的团队,仍可选择 Amazon Managed Service for Prometheus。此前只支持 Prometheus。
AWS 称 CloudWatch 定价更低、与 SageMaker 控制台集成更紧,但原文没有给出相同采集规模下的账单对比。选型仍要看指标量和现有运维体系。
控制台的入口也有区别:Quick setup 默认开启可观测性,且不能取消;Custom setup 可以关闭,也能选择指标类别、高级指标、日志和存储。日志选项会为容器及 Pod 日志创建 CloudWatch 日志组。Grafana 工作区则可以新建、复用或不配置。
接入不复杂,但 EKS 与 Slurm 配置不能混用
已有 HyperPod 集群可以直接使用。新建时,原文给出的路径是选择 EKS 或 Slurm 编排、进入 Custom setup,并把 Instance recovery 设为 Automatic。
EKS 通过 add-on 交付,Slurm 通过 cluster extension 交付,安装和修改权限都由 IAM 控制。
下面这条 EKS 命令安装可观测性 add-on,把指标发送到 CloudWatch,以 30 秒间隔采集基础指标,同时关闭主机性能剖析:
aws eks create-addon \
--cluster-name <cluster-name> \
--addon-name amazon-sagemaker-hyperpod-observability \
--region <region> \
--configuration-values '{
"metricsDestination": "cloudwatch",
"metricsProvider": {
"nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
"acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30}
},
"profilesProvider": {
"hostProfiling": {"enabled": false}
}
}'
要留意 hostProfiling.enabled 为 false:装上 add-on,并不代表开启了所有性能分析能力。原文虽然展示了这个开关,却没有继续说明剖析结果、使用方式和额外开销。
安装后,可通过 aws eks describe-addon 配合相同的集群、add-on 和区域参数,再加 --query 'addon.status',确认状态为 ACTIVE。后续使用 aws eks update-addon,在配置中加入 "networkMetrics": {"level": "ADVANCED", "scrapeInterval": 30},即可开启 EFA 高级指标。
Slurm 的安装命令是 aws sagemaker create-cluster-extension,扩展名为 sagemaker-observability。它使用 collectionIntervalSeconds 指定采集周期,不能照搬 EKS 的 scrapeInterval。原文给出的更新示例如下:
aws sagemaker update-cluster-extension \
--cluster-arn <cluster-arn> \
--extension-arn <extension-arn> \
--region <region> \
--configuration-values '{
"metricsProvider": {
"clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
"nodeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
"acceleratedComputeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
"networkMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
"jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
}
}'
注意 networkMetrics.level 在这个 Slurm 示例中是 ENABLED,而主机和加速器指标同时设为 ADVANCED。检查状态使用 aws sagemaker describe-cluster-extension --cluster-arn <cluster-arn> --extension-arn <extension-arn>。
接入后,Observability 页面提供集群概览,再进入 Diagnostic summary、Hardware、Workload 和 Network 视图,分别查看事件、设备、任务与通信网络。Hardware 还能按 Active、Idle、Unhealthy 状态筛选设备。
原文中的 128 个节点、1024 个加速器,以及 GPU 87.3%、vCPU 76.8%、内存 83.5% 的利用率,都是界面示例,不能当成效果数据。预置 Amazon Managed Grafana 看板也能展示这些维度,首次使用需要配置 AWS IAM Identity Center 并添加用户。
我的判断
这套设计最合理的地方,是把「同伴对比」和「已知规则」放在一起。前者适合发现某块 GPU 与同任务其他设备不同,后者负责识别 ECC、XID、EFA 异常等已知问题。再把事件关联到任务和设备,比单独增加几张资源曲线更接近实际排障需求。
不过,发现异常不等于证明根因。 如果所有 GPU 同时等待数据,彼此之间可能没有明显离群;如果任务本来就让不同设备承担不同工作,指标差异也未必是故障。原文没有说明这些情况如何处理,也没有展示主机数据流水线停滞的完整诊断案例。
效果证据同样有限。文章没有提供具体团队的排障前后耗时、训练吞吐恢复幅度,或误报对照数据。「减少排查时间」目前是产品方主张,不是已经展示的量化结论。
相比自行拼接 Prometheus、Grafana、日志和规则,这套能力的吸引力是托管集成与任务关联。已有监控体系的团队,则需要评估迁移和重复采集成本。AWS 称它已覆盖所有提供 HyperPod 的 AWS Regions,但原文没有列出实例支持范围和具体价格。
能拿来做什么
- 如果团队已经使用 HyperPod,先启用默认指标,确认任务、节点和设备能正确关联,再按问题开启高级指标,避免一开始就承担全部采集成本。
- 排查分布式训练变慢时,先找任务内异常设备,再核对温度、时钟、错误与 EFA 指标;不要只凭平均 GPU 利用率决定扩容。
- 把 EKS add-on 或 Slurm extension 的配置纳入版本管理,保留各自的字段名称与级别,并在调整后检查状态和指标是否持续进入存储。
- 负责 AI 训练平台的全栈开发者,可以借鉴「事件卡片关联任务、节点、设备和证据曲线」的页面组织方式,让使用者从异常直接进入排查对象。