应强制Ollama使用独显：Windows/Linux需设CUDA_VISIBLE_DEVICES=0并配置OLLAMA_NUM_GPU=20；Windows还需禁用硬件加速GPU计划及指定高性能处理器；macOS需禁用Metal核显劫持；Linux需启用prime-select nvidia；最后用nvidia-smi验证独显占用。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在双显卡笔记本上运行Llama 3模型时遇到报错，提示显存不足，很可能是系统未正确调用独显进行推理，而是错误地将计算负载分配至核显——其显存通常仅数百MB且不可扩展，远低于Llama 3:8B模型最低所需的4–6GB显存。以下是针对性解决该问题的步骤：
一、强制Ollama使用独显（NVIDIA GPU）
默认情况下，Ollama可能通过Metal（macOS）或集成显卡驱动（Windows/Linux）启动，导致无法访问独显显存。需显式指定CUDA设备并绕过核显调度逻辑。
1、确认NVIDIA独显已启用：在Windows中右键桌面→“NVIDIA 控制面板”→左侧“系统信息”查看“显示”页签，确认GPU型号及状态为“活动”。
2、设置环境变量强制CUDA可见：在终端启动前执行 set CUDA_VISIBLE_DEVICES=0（Windows）或 export CUDA_VISIBLE_DEVICES=0（Linux/macOS，若为多GPU则根据nvidia-smi输出选择对应ID）。
3、运行Ollama时附加GPU参数：执行 OLLAMA_NUM_GPU=20 ollama run llama3:8b，其中20表示加载20层至GPU，避免全层加载超限。
二、禁用核显自动切换策略（Windows）
Windows图形设置中的“硬件加速GPU计划”和“图形设置”会动态接管进程显存分配权，常将ollama进程错误归类为“节能应用”而绑定至核显。
1、进入“设置”→“系统”→“显示”→“图形设置”，在“自定义选项”中点击“浏览”，选择 ollama.exe（通常位于C:\Users\用户名\AppData\Local\Programs\Ollama\）。
2、点击“选项”，在弹出窗口中选择 高性能 NVIDIA 处理器 并保存。
3、返回“系统”→“显示”→“图形设置”顶部，关闭 硬件加速GPU计划 开关。
三、macOS下绕过Metal核显劫持
macOS的Metal框架默认优先使用集成GPU（Intel Iris或M系列统一内存），而Ollama未提供显式GPU选择接口，需通过环境变量干预Metal设备枚举顺序。
1、在终端中执行 defaults write com.apple.metal MTLCopyDefaultDevice 0，强制Metal初始化时跳过首设备（通常为核显）。
2、确认独显设备索引：运行 system_profiler SPDisplaysDataType | grep "Chipset Model\|Name"，识别独立GPU名称（如“AMD Radeon Pro 560X”或“NVIDIA GeForce GT 750M”）。
3、启动Ollama前设置：export OLLAMA_HOST=0.0.0.0:11434 && export OLLAMA_NO_CUDA=0 && ollama run llama3:8b，确保不启用CPU回退路径。
四、Linux下配置PRIME卸载与GPU绑定
Linux双显卡环境（尤其是NVIDIA+Intel）依赖PRIME技术实现GPU切换，但Ollama默认不触发offload机制，需手动指定渲染节点与计算设备分离。
1、检查当前GPU模式：运行 glxinfo | grep "OpenGL renderer"，若输出含“Intel”或“Mesa”，说明当前为核显渲染。
2、启用NVIDIA计算节点：执行 sudo prime-select nvidia 并重启系统（部分发行版需执行 sudo systemctl restart display-manager）。
3、验证CUDA设备可见性：运行 nvidia-smi -L 确认设备列表，再执行 CUDA_VISIBLE_DEVICES=0 python3 -c "import torch; print(torch.cuda.is_available())" 测试PyTorch级CUDA可用性（Ollama底层依赖相同驱动栈）。
五、验证独显实际参与推理
仅配置不等于生效，必须通过实时监控确认Ollama进程真实占用独显资源，而非停留在核显或CPU模拟状态。
1、启动Ollama服务后，在新终端中持续运行 watch -n 1 'nvidia-smi --query-compute-apps=pid,used_memory --format=csv'，观察是否有非零显存占用记录。
2、若nvidia-smi无输出，立即检查 /var/log/syslog | grep -i "nvidia\|ollama"（Linux）或 console.app 中筛选 “Ollama” 和 “GPU”（macOS）是否存在设备拒绝访问日志。
3、在Windows中打开任务管理器→“性能”→“GPU”，点击右上角“GPU 0”下拉菜单，确认 ollama.exe 进程出现在“GPU引擎”下的“3D”或“Copy”栏位中，而非仅显示在“共享GPU内存”行。
