关键配置:cpu需支持avx指令集(如i5-6xxx/ryzen 2000),内存≥16gb,ssd≥50gb,系统推荐ubuntu 20.04+;docker≥20.10、compose≥v2.23;ollama挂载数据目录,dify中ollama_base_url按平台填host.docker.internal或172.17.0.1。

直接上关键配置,不绕弯。
硬件和系统基础要稳
- CPU:必须支持 AVX 指令集(Intel i5-6xxx / AMD Ryzen 2000 起基本都满足),运行前执行
grep avx /proc/cpuinfo确认 - 内存:开发用 7B 模型建议留足 8GB 空闲,整套 Dify+Ollama 建议总内存 ≥16GB
- 存储:SSD 至少预留 50GB,模型文件(如 qwen2.5:7b、deepseek-coder)单个就占 4–6GB
- 系统:Linux(Ubuntu 20.04+)原生 Docker 性能最好;Windows/macOS 必须启用 WSL2 或 Docker Desktop,并确认已开启 GPU 支持(如需)
Docker 和配套工具装准
- Docker Engine ≥20.10,Docker Compose ≥v2.23
- GPU 加速必装 NVIDIA Container Toolkit(不是只装驱动),装完执行:
sudo systemctl restart docker docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi -L
能列出 GPU 设备才算真正可用
- 配置国内镜像源(避免拉镜像卡死):编辑
/etc/docker/daemon.json,加入:{ "registry-mirrors": ["https://docker.1ms.run", "https://mirror.baidubce.com"] }然后
sudo systemctl daemon-reload && sudo systemctl restart docker
容器启动时关键参数不能少
- 共享内存不足会导致 DataLoader 卡顿或崩溃:加
--shm-size=8g - PyTorch 多进程 mmap 报错常见于锁页内存限制:加
--ulimit memlock=-1:-1 - 防止 OOM Killer 杀进程:明确设
--memory=16g --memory-reservation=12g - GPU 容器必须带
--gpus all(或指定--gpus device=0)
模型服务与应用协同要点
- Ollama 容器务必挂载数据目录(如
-v /home/docker/ollama:/root/.ollama),否则模型一重启就丢 - Dify 若连本地 Ollama,
.env中OLLAMA_BASE_URL要填http://host.docker.internal:11434(macOS/Windows)或http://172.17.0.1:11434(Linux) - OpenCode 或 vLLM 后端对接时,确保 API 地址指向容器内可解析的网络(推荐用
docker network create自建 bridge 网络,服务间用容器名互通)
不复杂但容易忽略











