8.0
热点
AI SCORE
技术实践2026-11-21 22:00
用温度采样排查 DGX Spark 突然关机
dev.to · AI#故障排查#温度监控#GPU 运维
Editor brief · 编辑速览
一台 GB10 设备反复突然断电,系统日志缺少关机原因。文章给出读取系统温区及用 nvidia-smi 查询 GPU 温度、功耗和频率的方法,并介绍由此做出的免费小工具。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
dev.to 上一位作者记录了团队排查 GB10 突然关机的过程。他们有三台这类机器,其中一台反复掉电,重启后系统日志只剩下中途截断的记录。团队改为每分钟把温度和 GPU 遥测写入磁盘,发现六次掉电前,最热的传感器读数都在 95 到 98 °C。
目前能确认什么
journalctl -b -1 可以查看上一次启动的日志,但突然断电可能来不及写入关机记录。重启后再用 nvidia-smi 查温度,也只能看到当下的状态。作者团队做了一个免费工具 gb10-blackbox,每分钟记录系统温区,以及 GPU 的温度、功耗、利用率和频率,再用 fsync 将记录刷到磁盘。机器恢复后,可以回看采样中断前的读数,并用正常关机记录识别主动重启。
有几次掉电前 GPU 接近满载,最近三次掉电前 GPU 已经空闲,最热温区仍在 95 到 98 °C。团队将后几次的热量归因于 CPU 核心。
我的判断
排查突然掉电时,只盯 GPU 温度容易漏掉整机的热问题。
这台机器报告的 ACPI 临界温度是 104.8 °C,而每分钟采一次样可能漏掉短时峰值。我会把 95 到 98 °C 当作这台机器掉电前反复出现的线索。具体是哪个传感器或保护机制触发了断电、其他 GB10 设备是否也会在相近读数下掉电,还需要完整原文或厂商文档确认。
告警也得先看机器平时怎么跑。团队最初把阈值设在 88 °C,结果告警响个不停,而这台机器近 30 天最热温区的中位数就有 89 °C。对跑本地模型的机器,我会先记录正常负载下的温度,再决定高温持续多久才值得告警。