核心是用nvidia-smi -q -d TEMPERATURE,MEMORY,ERRORS获取温度、显存使用及ECC错误等传感器数据,重点关注GPU Current Temp(≤83°C)、Uncorrectable Errors是否非零;DCGM则用于长期自动化监控,支持Prometheus对接与主动诊断。

监控 GPU 硬件健康状态,核心是获取底层传感器数据和驱动暴露的运行指标。Linux 服务器环境下,主要依赖 NVIDIA 驱动配套工具(如 nvidia-smi)和系统级接口(如 ipmitool 或 dcgm),不依赖第三方 GUI 软件。
用 nvidia-smi 实时查看温度与显存错误
nvidia-smi 是最轻量、最通用的检查方式,无需额外安装(只要装好官方驱动)。它能直接读取 GPU 的板载传感器和 ECC 错误计数器:
- 执行
nvidia-smi -q -d TEMPERATURE,MEMORY,ERRORS可输出当前温度、显存使用量、ECC 错误(Voluntary 和 Uncorrectable 类型)等结构化信息 - 重点关注字段:
GPU Current Temp(建议长期不超过 83°C)、Current FB Memory Usage、以及Uncorrectable Errors是否非零——一旦出现,说明显存已发生不可修复错误,需预警并计划更换 - 可搭配
watch -n 2 'nvidia-smi -q -d TEMPERATURE,ERRORS | grep -E "(Temp|Errors)"'每 2 秒刷新关键项,适合快速人工巡检
用 DCGM 持续采集指标并对接监控系统
DCGM(Data Center GPU Manager) 是 NVIDIA 官方为数据中心设计的监控套件,比 nvidia-smi 更适合长期、自动化、多卡场景:
- 安装后启用
dcgmiCLI 或dcgm-exporter(Prometheus Exporter 模式),后者会将 GPU 温度、GPU 利用率、显存带宽、ECC 错误累计值等以 HTTP 接口形式暴露 - 配合 Prometheus + Grafana,可绘制趋势图、设置告警规则(例如:连续 3 次采样中
dcgm_fb_freedcgm_uncor_ecc_errors > 0) - DCGM 还支持主动诊断(
dcgmi diag),可运行内置压力测试验证算力稳定性,适用于上线前验收或故障复现
确认 GPU 算力是否被正常调度与释放
“算力状态”不是静态硬件参数,而是看计算任务能否实际获得预期资源。需结合驱动层与应用层交叉验证:
- 运行
nvidia-smi pmon -s u查看每张 GPU 上各进程的利用率(%util)、显存占用(MB)和计算模式(C0/C1/C2),若长期显示 0%util 但显存未释放,可能是进程僵死或 CUDA 上下文泄漏 - 检查
nvidia-smi -q -d SUPPORTED_CLOCKS和CURRENT_CLOCKS,确认 GPU 是否被降频(如从 1.5 GHz 降到 0.3 GHz),常见于温控限频或电源策略限制 - 对容器化环境(如 Kubernetes + GPU Operator),还需验证
nvidia-device-plugin日志是否上报设备就绪,以及 Pod 内nvidia-smi是否能识别到 GPU 设备号
补充:硬件级冗余与日志归档建议
仅靠软件工具不够,需建立基础运维闭环:
- 开启
nvidia-smi -e 1启用持久化模式(Persistence Mode),避免驱动频繁重载导致的短暂不可用 - 配置
rsyslog或journald捕获nvidia-persistenced和dcgmd的启动/异常日志,保留至少 7 天 - 对双路/多卡服务器,定期用
lspci -vv -s $(lspci | grep NVIDIA | head -1 | awk '{print $1}') | grep -i "error"检查 PCIe 链路层错误(如Correctable Error频发可能预示插槽或主板问题)











