创建带gpu直通的docker容器需三步:宿主机安装匹配版本的nvidia官方驱动(验证nvidia-smi);安装nvidia container toolkit(非nvidia-docker2);用--gpus参数或docker compose声明式配置启动容器。

创建带 GPU 直通的 Docker 容器,核心是让容器安全、高效地访问宿主机的 NVIDIA GPU,而不是靠模拟或重复安装驱动。整个过程分三步:宿主机准备、工具链安装、容器启动配置。只要每步到位,一行命令就能跑起来。
宿主机必须先装好 NVIDIA 驱动
这是前提,没有它,后续所有配置都无效。运行 nvidia-smi 能看到 GPU 列表和驱动版本(比如 570.86.10),才算成功。推荐使用官方驱动,版本需匹配你用的 CUDA 和模型框架(如 PyTorch)。不建议用系统仓库里的旧版驱动,容易和容器内 CUDA 版本冲突。
装 NVIDIA Container Toolkit
它替代了老旧的 nvidia-docker2,是当前标准方案。以 Ubuntu/Debian 为例:
- 导入 GPG 密钥并添加源:
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpgcurl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list - 更新并安装:
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit - 验证:
nvidia-container-cli --version应输出版本号(如 1.19.0)
用 --gpus 启动容器,支持多种粒度控制
Docker 19.03+ 原生支持 --gpus 参数,不需要改 daemon.json 或指定 runtime。常用方式有:
在 Linux 上通过 Docker 运行 OpenClaw,并使用 Tailscale 实现远程访问。⚠️ 涉及 sudo、Docker、Tailscale和凭证挂载——请先查阅安全章节...
- 全部 GPU:
docker run --gpus all -it --rm nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi - 指定某一块(按编号):
docker run --gpus '"device=0"' -it --rm my-pytorch-app python train.py - 指定多块:
docker run --gpus '"device=0,2"' -it --rm my-training-job - 限制能力(比如只允许计算,禁用图形):
docker run --gpus '"device=0,capabilities=compute"' -e NVIDIA_VISIBLE_DEVICES=0 my-inference-service
注意:设备编号以 nvidia-smi -L 输出为准,不是物理插槽顺序。
用 Docker Compose 时写对 runtime 和 deploy 字段
Compose 不直接识别 --gpus,得靠声明式写法:
- 基础写法(适用于单服务):
services:<br> pytorch-app:<br> image: pytorch/pytorch:2.4.0-cuda12.4-devel<br> runtime: nvidia<br> environment:<br> - NVIDIA_VISIBLE_DEVICES=all
- 更现代写法(Docker Compose v2.20+ 支持):
services:<br> tensorboard:<br> image: nvidia/cuda:12.4.0-base-ubuntu22.04<br> deploy:<br> resources:<br> reservations:<br> devices:<br> - driver: nvidia<br> count: 1<br> capabilities: [gpu]
两种都有效,但后者更符合资源编排规范,也方便后续做自动扩缩容。










