若llama 3推理极慢且cpu占满100%、gpu显存无变化，说明ollama未启用gpu加速；需依次检查gpu驱动（nvidia-smi输出cuda≥11.8/驱动≥531）、ollama服务环境与库路径、设置ollama_vulkan=1或ollama_no_cuda=0、分析ollama serve --debug日志中“using cpu library”等线索，并通过ollama ps和nvidia-smi确认gpu id与显存占用是否正常。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您运行Llama 3模型时发现推理速度极慢、终端持续无响应，且系统监控显示CPU占用率长期维持在100%而GPU显存无变化，则很可能是Ollama未能成功启用GPU加速，导致全部计算被迫回退至CPU执行。以下是针对此问题的配置检查与修复步骤：
一、确认GPU硬件与驱动状态
该步骤用于验证系统底层是否已正确识别并初始化GPU设备，是后续所有GPU加速配置生效的前提。若硬件层未就绪，任何环境变量或服务配置均无法起效。
1、打开终端（Linux/macOS）或PowerShell（Windows），执行nvidia-smi命令。
2、若提示“command not found”，说明NVIDIA驱动未安装，需前往NVIDIA官网下载对应显卡型号的Game Ready或Studio驱动（要求版本≥531）并完成安装。
3、若命令可执行但显示“NVIDIA-SMI has failed”，表明驱动安装不完整或内核模块未加载，需重启系统后重试；仍失败则需重新安装驱动并禁用Secure Boot。
4、正常输出中应包含显卡型号、CUDA版本、驱动版本及空闲显存信息，其中CUDA Version字段必须≥11.8，驱动Version必须≥531.00。
二、检查Ollama服务启动环境与库路径
该步骤用于排除因服务运行上下文缺失GPU支持库或路径错位导致的自动探测失效问题。systemd服务常因权限隔离或路径变量缺失跳过CUDA初始化。
1、执行systemctl status ollama，确认服务处于active (running)状态且无报错。
2、若状态异常或提示“failed to start”，检查服务文件是否存在：ls /etc/systemd/system/ollama.service。
3、若文件缺失或内容为空，需手动创建标准服务文件，并确保Environment="PATH=/usr/local/bin:/usr/bin:/bin"包含CUDA相关路径。
4、执行ls -l /usr/local/lib/ollama /usr/lib/ollama，对比两目录内容；若/usr/local/lib/ollama为空而/usr/lib/ollama存在libcuda.so等文件，则说明Ollama未正确部署GPU支持库，需重新运行安装脚本或手动复制库文件。
三、验证并设置GPU后端环境变量
该步骤用于强制Ollama选择GPU计算后端，绕过可能因自动探测失败导致的CPU回退逻辑。两种主流方案互为补充，适用于不同硬件组合。
1、对于Intel核显或AMD显卡用户，或NVIDIA驱动兼容性受限场景：新建系统变量OLLAMA_VULKAN=1，操作路径为“此电脑→属性→高级系统设置→环境变量→系统变量→新建”，保存后重启Ollama服务。
2、对于NVIDIA独显用户，优先启用CUDA：确保未设置CUDA_VISIBLE_DEVICES环境变量（该变量会干扰Ollama自动设备发现），并在终端中临时导出export OLLAMA_NO_CUDA=0后再运行模型。
3、运行ollama run llama3:3b后立即执行nvidia-smi，观察显存占用是否在数秒内上升；若显存占用从0%跃升至30%以上，且ollama ps显示GPU ID列有编号，则确认CUDA后端已激活。
四、分析Ollama运行日志定位根本原因
该步骤通过解析Ollama内部初始化日志，直接识别后端选择失败的具体环节，避免依赖表层现象误判。日志中明确的文本线索可区分“驱动未就绪”与“库路径错误”两类核心故障。
1、停止当前Ollama服务：systemctl stop ollama（Linux）或任务管理器结束进程（Windows）。
2、以调试模式启动：ollama serve --debug，保持终端前台运行。
3、另启终端执行ollama run llama3:3b，等待约15秒后切换回调试终端。
4、查找日志中是否出现using CPU library或0 layers on GPU字样；若存在此类输出，说明推理引擎已明确放弃GPU路径，问题根源在于CUDA库加载失败或设备不可见，而非显存不足。
5、若日志中出现failed to load libcuda.so，则指向库路径配置错误；若出现no NVIDIA GPU detected，则需返回第一步复核nvidia-smi结果。
五、检查模型层GPU分配状态
该步骤用于确认模型加载阶段是否实际将参数和计算层迁移至GPU显存，排除“仅部分层上GPU”导致的隐性性能瓶颈。即使显存占用上升，若关键层仍在CPU，仍将引发严重延迟。
1、模型启动完成后，执行ollama ps命令，观察输出表格中“GPU ID”列是否为空。
2、若该列为“-”或空白，说明Ollama未为该模型实例分配GPU设备；此时需结合步骤三重新设置环境变量并重启服务。
3、若该列显示数字（如0），但nvidia-smi中显存占用低于模型理论需求（Llama-3.2-3B约需2.4GB），则可能存在层分配不均问题。
4、执行ollama show llama3:3b --modelfile，检查输出中是否含FROM ...后缀带cuda标识；若无此标识，说明拉取的模型镜像本身未启用GPU优化，需改用官方标注cuda的变体或手动指定量化格式。
