使用docker compose多容器隔离可解决ollama单实例导致的显存溢出、端口冲突问题；gpu显存切分适用于单卡多模型场景；内置别名+反向代理方案适合低资源环境。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试在单台机器上同时运行Llama 3及其他模型，但遇到显存溢出、端口冲突或服务互相干扰的问题，则很可能是由于Ollama默认单实例机制导致多个模型无法隔离运行。以下是解决此问题的步骤：
一、基于Docker Compose的多容器隔离部署
该方法通过为每个模型分配独立容器，实现进程、网络、存储与GPU资源的硬隔离，避免端口抢占和内存混用。每个容器绑定唯一API端口，并可单独配置GPU显存限制。
1、创建docker-compose-multi.yml文件，内容如下：
version: '3.8'
services:
ollama-llama3:
image: ollama/ollama:0.17.5
container_name: ollama-llama3
ports: - 11435:11434
volumes: - ./data/llama3:/root/.ollama
environment: - OLLAMA_HOST=0.0.0.0:11434
deploy: resources: limits: devices: - driver: nvidia count: 1 capabilities: [gpu]
ollama-mistral:
image: ollama/ollama:0.17.5
container_name: ollama-mistral
ports: - 11436:11434
volumes: - ./data/mistral:/root/.ollama
environment: - OLLAMA_HOST=0.0.0.0:11434
deploy: resources: limits: devices: - driver: nvidia count: 1 capabilities: [gpu]
2、在终端中执行docker compose -f docker-compose-multi.yml up -d启动两个容器。
3、分别向不同端口发送请求验证：curl http://localhost:11435/api/tags 和 curl http://localhost:11436/api/tags 应各自返回对应容器内加载的模型列表。
二、GPU显存按需切分（nvidia-container-toolkit）
该方法适用于单块GPU显存充足但需严格划分给不同模型的场景，利用NVIDIA Container Toolkit的MIG或memory限制功能，防止模型间显存争抢。
1、确认宿主机已安装NVIDIA驱动与nvidia-container-toolkit，并重启docker服务。
2、修改docker run命令，为Llama3容器指定显存上限：
docker run -d --gpus '"device=0",{"capabilities":["gpu"],"memory":6144}' -p 11435:11434 -v $(pwd)/llama3-data:/root/.ollama --name ollama-llama3 ollama/ollama:0.17.5
3、为Mistral-7B容器分配另一段显存区间（如4096MB），使用相同参数但修改memory值及端口。
4、执行nvidia-smi -L与nvidia-smi --query-compute-apps=pid,used_memory,process_name --format=csv验证两进程显存占用互不重叠。
三、Ollama内置模型别名+API路由代理方案
该方法复用单一Ollama容器，通过模型别名加载与反向代理分流请求，节省容器开销，适合CPU或低显存环境，无需额外GPU设备支持。
1、进入Ollama容器并拉取多模型：
docker exec -it ollama-llama3 ollama pull llama3:8b
docker exec -it ollama-llama3 ollama pull mistral:7b
2、为各模型创建别名以区分调用路径：
docker exec -it ollama-llama3 ollama create llama3-8b-alias -f -
docker exec -it ollama-llama3 ollama create mistral-7b-alias -f -
3、部署轻量级反向代理（如Caddy），配置路由规则将/api/llama3/*转发至http://localhost:11434/api/并注入{"model":"llama3-8b-alias"}，同理处理mistral路径。
四、CPU-only多模型轮询加载策略
该方法完全规避GPU依赖，在仅有CPU资源的机器上通过时间片轮换方式复用同一Ollama进程，适用于测试、调试或低并发场景，显著降低内存峰值压力。
1、停止默认Ollama服务：docker stop ollama-llama3
2、编写shell脚本model-switcher.sh，内容包含：
while true; do
ollama run llama3:8b && sleep 300
ollama run mistral:7b && sleep 300
done
3、将脚本挂载进容器并后台运行：docker run -d -v $(pwd)/model-switcher.sh:/switch.sh --name model-switcher ollama/ollama:0.17.5 /bin/sh /switch.sh
4、配合外部健康检查接口，仅在当前加载模型就绪后才开放对应API响应，确保客户端请求不落空。
