nvidia-smi 能正常输出是gpu链路起点；若命令找不到或无gpu信息，说明驱动未安装或未重启；其显示的cuda version是驱动支持的最高运行时版本，须匹配pytorch要求；torch.cuda.is_available()为唯一关键判断依据。
检查 nvidia-smi 是否能正常输出驱动信息
这是整个链路的起点。如果 nvidia-smi 命令根本找不到，或者执行后只报错、无任何 GPU 信息，说明 NVIDIA 驱动压根没装，或安装失败后未重启系统。此时 PyTorch 再怎么配都没用。
常见错误现象：
bash: nvidia-smi: command not found- 命令执行后空白、卡住、或提示
No devices were found
实操建议：
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
- 在宿主机（不是容器内）终端直接运行
nvidia-smi - 若失败，去 NVIDIA 官网 下载匹配你显卡型号和操作系统的最新驱动（2026 年推荐 ≥535.x）
- Linux 用户安装后务必执行
sudo reboot，驱动模块需内核重载才能生效 - Windows 用户安装完也建议重启，避免 WDDM 模式干扰 CUDA 计算
确认驱动支持的最高 CUDA 版本是否匹配 PyTorch 要求
nvidia-smi 输出右上角显示的 CUDA Version: X.Y 不是你安装的 CUDA Toolkit 版本，而是当前驱动**能向上兼容的最高 CUDA 运行时版本**。PyTorch 的二进制包必须在这个范围内才可能加载成功。
例如：nvidia-smi 显示 CUDA Version: 12.4，但你装了为 cu125 编译的 PyTorch 2.5，就会失败——因为驱动不支持 12.5 运行时。
实操建议：
- 查 PyTorch 2.5 官方支持的 CUDA 版本：目前仅支持
cu118和cu121（截至 2026 年 4 月） - 若
nvidia-smi显示的 CUDA 版本是 12.2 或更高，但低于 12.1？不可能——12.2 驱动一定支持 12.1 运行时；反过来，若显示 11.8，则不能用cu121版本 - 最稳妥做法：驱动版本 ≥525.x → 可跑
cu118；≥535.x → 可跑cu121
验证 CUDA Runtime 是否被 PyTorch 正确加载
即使驱动就绪、CUDA Toolkit 已装，PyTorch 仍可能因路径问题找不到 libcudart.so 等关键运行时库。这时 torch.cuda.is_available() 会静默返回 False，不报错也不提示缺啥。
实操建议：
- 运行 Python 代码：
import torch<br>print(torch.version.cuda) # 若输出 None，说明 Runtime 未加载
- 检查
LD_LIBRARY_PATH（Linux）或PATH（Windows）是否包含 CUDA Toolkit 的lib64（如/usr/local/cuda-12.1/lib64） - 不要依赖
nvcc --version判断——它只说明编译器存在，不代表运行时可用 - 容器场景下，必须通过
--gpus all启动，并确保宿主机的/dev/nvidiactl、/dev/nvidia-uvm、/dev/nvidia0等设备节点被挂载进去
区分 CUDA Driver API 和 Runtime API 的加载失败
PyTorch 初始化时先调 Driver API（由 libnvidia-ml.so 提供，即 nvidia-smi 所用），再调 Runtime API（由 libcudart.so 提供）。前者失败会直接报错；后者失败则静默退降为 CPU 模式——这也是最让人困惑的情况。
容易踩的坑：
- 误以为
nvidia-smi能跑 = GPU 一切就绪，忽略了 Runtime 层可能断开 - 在 Conda 环境里用
conda install pytorch，却没同时装cudatoolkit=12.1，导致 Runtime 缺失 - Docker 镜像里预装了 CUDA 12.1，但启动时没加
--gpus all，PyTorch 看不到设备节点，Runtime 初始化失败
真正关键的判断依据永远只有这一行：torch.cuda.is_available()。其他所有检查，都是为解释它为什么是 False。而它为 True 时，也未必代表模型真在 GPU 上跑——得看 nvidia-smi 的 GPU-Util 是否有持续占用。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
