NVIDIA smi 教程

技能：深入掌握 nvidia-smi

名称： nvidia-smi-mastery
描述： 提供一份全面指南，涵盖如何使用 nvidia-smi 命令进行 NVIDIA GPU 设备的监控、管理与故障排查，内容从基础状态检查延伸至高级脚本化应用。
关键词： ["nvidia-smi", "gpu monitoring", "nvml", "cuda", "deep learning", "gpu troubleshooting", "system administration"]

深入掌握 nvidia-smi

目标
帮助用户从仅能查看 nvidia-smi 基础输出的初级使用者，进阶为能够执行高级 GPU 诊断、性能调优及自动化监控的专家级用户。

核心概念：GPU 的仪表盘

nvidia-smi（NVIDIA System Management Interface）是用于监控和管理 NVIDIA GPU 的主要命令行工具。它充当 GPU 的“仪表盘”，实时呈现 GPU 的健康状况与性能数据。

• 底层原理： nvidia-smi 是 NVIDIA Management Library（NVML） 的客户端程序；NVML 是一个 C 语言库，提供与 GPU 驱动通信的接口。这意味着你也可以在 Python 等语言中使用 NVML 绑定（如 pynvml）构建自定义监控工具。
• 典型应用场景：
  • 在模型训练期间监控 GPU 利用率与温度；
  • 通过识别占用 VRAM 的进程，诊断 “CUDA out of memory”（OOM）错误；
  • 排查因温度过高导致的性能瓶颈（即热节流）；
  • 管理多 GPU 环境。

输出解析：字段速查指南

运行 nvidia-smi 将输出一张信息表格。以下是关键字段的含义说明：

• GPU： 多 GPU 系统中 GPU 的编号（例如 0、1）；
• Fan, Temp, Perf： 风扇转速（%）、GPU 温度（°C）、性能状态（P0 表示最高性能，P12 表示空闲）；
• Pwr:Usage/Cap： 当前功耗与显卡 TDP 功耗上限的比值；
• Memory-Usage： 对多数用户而言最为关键的字段，显示已用 / 总 VRAM 容量；
• GPU-Util： GPU 计算核心处于忙碌状态的时间百分比。注意区分高 VRAM 占用率与高 GPU 利用率；
• Processes： 当前正在使用 GPU 的进程列表（含 PID 和进程名），以及各进程单独占用的显存。该字段对定位“僵尸进程”极为有用。

常用命令与工作流

基础监控

• 标准视图： nvidia-smi
• 持续监控： 不满足于单次快照？可借助 watch 命令或 nvidia-smi 内置循环功能实现实时刷新。
  • watch -n 1 nvidia-smi（每 1 秒刷新一次）
  • nvidia-smi -l 1（原生命令循环，每 1 秒刷新一次）

定向查询

• 列出所有 GPU： nvidia-smi -L 输出所有已识别 GPU 及其 UUID 的简洁列表；
• 聚焦单个 GPU： nvidia-smi -i 0 仅显示 GPU 0 的信息；
• 获取详细报告： nvidia-smi -i 0 -q 为 GPU 0 提供详尽的详细报告，包括时钟频率、温度阈值、ECC 状态等；
• 筛选特定信息： 使用 -d 参数仅显示指定类别的数据。
  • nvidia-smi -q -d MEMORY,POWER 仅显示显存与功耗相关数据。

进程管理

• 定位问题根源： 发生 OOM 错误时，主表格中的 “Processes” 区域是你排查的第一站；
• 脚本友好型输出： nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv 以 CSV 格式输出所有计算进程及其显存占用，便于脚本解析。

高级诊断与故障排查

场景一：诊断 “CUDA out of memory” 错误

1. 检查基线状态： 启动任务前先运行 nvidia-smi，确认已有进程（如显示管理器）占用了多少 VRAM；
2. 定位肇事进程： 若发生 OOM，利用进程列表找出耗尽显存的任务对应 PID；
3. 终止进程： 执行 kill 结束该进程，释放 VRAM。

场景二：排查性能骤降问题
若训练循环突然变慢，建议启用高频连续监控（watch -n 0.5 nvidia-smi），重点关注以下现象：

• 热节流（Thermal Throttling）： Temp 突然飙升，同时 Perf 状态由高性能档位（如 P2）跳变为低性能档位（如 P8），表明 GPU 正主动降频降温；
• 功耗限制（Power Capping）： 若 Pwr:Usage 持续逼近 Cap 值，则 GPU 可能受限于其功耗预算。

守护进程模式（dmon）
如需长期监控且追求紧凑、列式输出格式，可启用守护进程模式：

• nvidia-smi dmon -s pumt -d 1
• -s pumt：指定要显示的指标：**p**ower（功耗）、**u**tilization（利用率）、**m**emory（显存）、**t**emperature（温度）；
• -d 1：设置刷新间隔为 1 秒。

自动化与脚本化

你可在 Shell 脚本或 Python 中调用 nvidia-smi 实现监控自动化与日志记录。

使用 pynvml 进行 Python 脚本开发
由于 nvidia-smi 本质是 NVML 的封装工具，因此可直接使用 pynvml 库在 Python 中获得更底层、更高效的 GPU 数据访问能力。

import pynvml
import time

pynvml.nvmlInit()
device_count = pynvml.nvmlDeviceGetCount()

print(f"Found {device_count} GPU(s)")

try:
    while True:
        for i in range(device_count):
            handle = pynvml.nvmlDeviceGetHandleByIndex(i)
            name = pynvml.nvmlDeviceGetName(handle).decode('utf-8')
            temp = pynvml.nvmlDeviceGetTemperature(handle, pynvml.NVML_TEMPERATURE_GPU)
            power = pynvml.nvmlDeviceGetPowerUsage(handle) / 1000.0  # Convert mW to W
            mem_info = pynvml.nvmlDeviceGetMemoryInfo(handle)
            util = pynvml.nvmlDeviceGetUtilizationRates(handle)

            print(f"[{i}] {name}")
            print(f"  Temp: {temp}°C")
            print(f"  Power: {power:.2f}W")
            print(f"  Memory: {mem_info.used // 1024**2} / {mem_info.total // 1024**2} MB")
            print(f"  GPU Util: {util.gpu}%")
            print("-" * 20)
        time.sleep(2)
except KeyboardInterrupt:
    print("Monitoring stopped.")
    pynvml.nvmlShutdown()