应优先使用预构建的框架专用gpu镜像，如pytorch/tensorflow官方镜像，避免手动安装导致cuda/cudnn版本错配；仅叠加业务代码与纯python依赖；验证需确保docker run加--gpus参数、nvidia-smi可见、torch.cuda.device_count()返回正确卡数；大模型推理推荐tensorrt优化镜像。
直接用预构建的框架专用 GPU 镜像作为基础，而不是从零安装依赖——这是最稳妥、最高效的做法。手动 pip install 一堆包，极易引发 CUDA 版本错配、cuDNN 加载失败、Python ABI 冲突等问题，尤其在 PyTorch/TensorFlow 这类对底层工具链高度敏感的场景下，90% 的“GPU 不可用”报错都源于环境不一致。
选对基础镜像，省掉 80% 的踩坑时间
不要自己拉 Ubuntu 镜像再装驱动和 CUDA。官方镜像已做版本对齐与运行时验证：
- PyTorch 用户优先用 pytorch/pytorch:2.8-cuda12.1-cudnn8-runtime（适配 A100/H100）或 pytorch/pytorch:2.5-cuda11.8-cudnn8.6（适配 RTX 3090/V100）
- TensorFlow 用户推荐 tensorflow/tensorflow:2.9.0-gpu-jupyter（CUDA 11.2 + cuDNN 8.1，稳定兼容老硬件）或 tensorflow/tensorflow:2.13.0-gpu（CUDA 11.8，适合新卡）
- 注意镜像 tag 中的 -runtime 表示精简版（无编译工具），-devel 包含 nvcc 和 bazel，仅当需源码编译才用
只叠加业务层，不动底层依赖
你的模型代码、自定义数据加载器、配置文件、权重文件才是需要 COPY 的内容。基础镜像里已包含：
- 匹配的 Python 解释器（如 Python 3.9）、pip 及 numpy/protobuf 等硬依赖
- 预编译的 PyTorch/TensorFlow 二进制包（链接到对应 CUDA/cuDNN 动态库）
- NVIDIA Container Toolkit 可识别的运行时接口（无需容器内装驱动）
你只需在 Dockerfile 中写：
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
——但要求 requirements.txt 里不能出现 torch、tensorflow、cuda-python 等与基础镜像冲突的包。额外依赖建议限定为 scikit-learn、pandas、huggingface-hub 等纯 Python 或 CPU-only 库。
验证 GPU 可用性，不是靠 import 成功
很多镜像能 import torch 成功，但 torch.cuda.is_available() 返回 False。真正要检查的是：
- 启动容器时是否加了 --gpus all（或
--gpus device=0,1） - 宿主机是否安装了 nvidia-container-toolkit 并重启 docker daemon
- 在容器内执行
nvidia-smi——能显示 GPU 列表才算真正打通 - 运行
python -c "import torch; print(torch.cuda.device_count())"确认可见卡数
大模型推理？加一层 TensorRT 优化镜像
如果部署的是已训练好的模型，追求低延迟高吞吐，别直接跑原始 PyTorch/TensorFlow。可基于 NVIDIA 官方 nvcr.io/nvidia/tensorrt:24.05-py3 镜像，将模型转换为 TensorRT 引擎（.engine 文件），再封装进轻量服务（如 Triton Inference Server）。这样做的优势是：
- 自动融合算子（Conv+BN+ReLU → 单 kernel），减少显存读写次数
- 支持 FP16/INT8 精度量化，A100 上推理速度提升 2–3 倍
- 引擎文件与硬件强绑定，但部署镜像体积小、启动快、无 Python 依赖
