必须先确认wsl2已启用gpu直通并能识别nvidia设备,否则torch.cuda.is_available()永远返回false;需检查wsl --status、lsmod | grep nvidia及nvidia-smi -l,驱动须为wsl2专用版(≥470.14,推荐535.129.03+),失败时先更新windows端驱动并执行wsl --shutdown重启。

确认WSL2已启用GPU直通并能识别NVIDIA设备
没这一步,后面装PyTorch也白搭——torch.cuda.is_available()永远返回False。WSL2的GPU支持不是默认开启的,它依赖Windows主机上已安装的NVIDIA驱动(470.14+,推荐535.129.03或更新),且必须是WSL2专用驱动(非普通游戏驱动)。运行nvidia-smi前先检查:wsl --status确认版本为WSL2;lsmod | grep nvidia在Ubuntu里应有输出;nvidia-smi -L要能列出GPU型号。常见失败现象是命令不存在、报错NVML library not found或GPU Access Blocked,说明驱动未正确透传,此时不要急着装CUDA,先回Windows更新NVIDIA驱动并重启WSL:wsl --shutdown再重开。
用conda而非pip安装PyTorch + CUDA Toolkit组合包
在WSL2里手动配CUDA 12.x + cuDNN 9.1 + PyTorch三者版本对齐,是90%环境崩坏的源头。官方pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121看似简单,但实际会拉取预编译二进制,而这些二进制只兼容特定内核模块ABI。更稳的做法是用conda统一管理:它把CUDA运行时、cudnn、PyTorch打包进同一个环境,避免libcuda.so路径冲突或cudnn_status_not_initialized错误。执行以下命令即可闭环:
conda create -n dl python=3.12 conda activate dl conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
注意:pytorch-cuda=12.1是conda channel里的元包,它自动绑定对应版本的CUDA Toolkit和cuDNN,不需要单独装cudatoolkit或解压cudnn-windows-x86-64-9.1.0.70-cuda12-archive.zip——那个ZIP是给Windows原生环境用的,WSL2里无效。
验证CUDA可用性时别只跑torch.cuda.is_available()
这个函数只检查CUDA初始化是否成功,不验证显存分配、kernel执行或cuDNN调用。很多环境卡在“能识别GPU但训练卡死”阶段,原因常是cuDNN未加载或tensor core未启用。建议加三步实测:
- 运行
python -c "import torch; print(torch.randn(2,3).cuda().matmul(torch.randn(3,4).cuda()))"——确认基础CUDA tensor运算无误 - 运行
python -c "import torch; print(torch.backends.cudnn.enabled)"——返回True才算cuDNN真正就绪 - 运行
python -c "import torch; a = torch.randn(1000,1000, device='cuda'); b = torch.randn(1000,1000, device='cuda'); %timeit a @ b"——对比CPU版耗时,GPU应快10倍以上
若第三步慢于预期,可能是WSL2内存限制过低(默认仅50%物理内存),需编辑/etc/wsl.conf增加[wsl2] memory=12GB并重启WSL。
跑Ollama或ComfyUI这类工具前先关掉Windows端的NVIDIA Container Toolkit干扰
WSL2里启动ollama run llama3或comfyui容器时,如果提示docker: Error response from daemon: could not select device driver ""或no NVIDIA GPU detected,大概率是Windows侧Docker Desktop启用了“Use the WSL2 based engine”,但它同时又加载了NVIDIA Container Toolkit插件,造成设备映射冲突。解决方案很直接:在Windows上打开Docker Desktop → Settings → General → 关掉Use the WSL2 based engine;然后在WSL2里用原生Docker Engine:sudo apt install docker.io + curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - + sudo apt-get install -y nvidia-docker2。最后务必重启sudo systemctl restart docker,否则docker run --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi仍会失败。
最易被忽略的一点:WSL2的/tmp默认挂载在内存中,而大模型推理常生成GB级缓存文件(如Ollama的~/.ollama/models),一旦/tmp爆满,docker build或transformers加载会静默失败。建议把模型目录软链到Windows磁盘(如/mnt/d/ollama-models),并确保该路径在WSL2里有完整读写权限。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











