Docker离线部署深度学习模型的核心是“有网构建、无网加载”：联网机用Dockerfile构建含模型/代码/依赖的镜像，docker save导出为tar包；校验哈希并传输至离线机；离线机docker load导入后直接运行。
用Docker实现深度学习模型离线部署，核心是把模型、推理代码、依赖库和运行环境打包成一个可移植的镜像，在无网络环境下直接加载运行。整个过程不依赖外网，关键在“有网机器上准备，无网机器上加载”。
准备阶段：在联网机器上构建完整镜像
这是最关键的一步，所有联网操作都在这完成：
- 写好Dockerfile，明确基础镜像（如
pytorch/pytorch:2.1.0-cuda12.1-cudnn8-runtime）、复制模型文件（COPY ./models /app/models）、安装依赖（RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple）和启动命令 - 确保模型文件（如ONNX、GGUF、safetensors格式）已放入项目目录，不要靠下载脚本——离线环境无法触发下载
- 构建镜像：
docker build -t my-llm-app . - 导出为离线包：
docker save my-llm-app > my-llm-app.tar（也可用docker export，但推荐save，它保留全部层和元数据）
传输阶段：安全可靠地拷贝到目标机器
使用U盘、内网SCP或共享存储等方式转移文件，注意两点：
-
校验完整性：在源机运行
sha256sum my-llm-app.tar，到目标机再比对一次，避免传输损坏 -
检查磁盘空间：大模型镜像常达10–50GB，提前确认目标机
/var/lib/docker所在分区有足够空间（建议预留2倍镜像大小）
部署阶段：在离线机器上加载并运行
目标机无需联网，只需已安装Docker（若未装，需提前准备好Docker离线二进制包）：
- 加载镜像：
docker load （成功后docker images可见新镜像） - 启动容器：
docker run -d --gpus all -p 8000:8000 --name llm-api my-llm-app（加--gpus all启用GPU，无GPU则去掉） - 验证服务：
curl http://localhost:8000/health或发送推理请求测试端口通不通、模型能否加载
增强可靠性：适配不同离线场景
根据实际环境微调策略：
-
纯CPU环境：Dockerfile中改用
cpu基础镜像，删掉CUDA相关依赖，模型选量化版（如GGUF Q4_K_M）降低内存占用 -
多模型切换：把多个模型放在同一镜像的
/models/下，通过环境变量MODEL_NAME=zh-en-translator控制加载哪个 -
权限与路径隔离：用
-v /data/models:/app/models:ro挂载外部模型目录，方便后续替换模型而不重打镜像
