mac上运行deepseek v4卡顿时，需验证mps是否启用、强制模型加载至mps设备、禁用swap、启用4-bit量化并精简kv缓存、调整metal调度策略。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试在Mac M系列芯片上运行DeepSeek V4模型，但出现明显卡顿、响应延迟或频繁触发内存交换（swap），则很可能是Metal加速未正确启用，或系统因统一内存压力过大而降频调度。以下是解决此问题的步骤：
一、验证Metal后端是否已激活
PyTorch的Metal后端（MPS）必须显式启用且被模型实际调用，否则默认回退至CPU路径，导致推理严重卡顿。需确认环境已加载正确版本并识别设备。
1、打开终端，执行：python3.11 -c "import torch; print(torch.backends.mps.is_available())"
2、若输出为False，请检查是否安装了torch-macos而非通用torch包；执行：pip3 uninstall torch && pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
3、重新验证并查看设备名：python3.11 -c "import torch; print(torch.device('mps'))"，应输出device(type='mps')而非报错。
二、强制模型加载至MPS设备并禁用CPU回退
DeepSeek V4的Hugging Face Transformers加载逻辑默认不指定device_map，易导致部分层滞留在CPU，引发频繁张量跨设备拷贝与同步等待。必须显式绑定全部参数与缓存至MPS。
1、在模型加载代码中替换原model = AutoModelForCausalLM.from_pretrained(...)为：
2、添加设备映射参数：model = AutoModelForCausalLM.from_pretrained(model_path, device_map="mps", torch_dtype=torch.float16)
3、手动将tokenizer和模型输入张量置于同一设备：inputs = tokenizer(prompt, return_tensors="pt").to("mps")
4、生成时禁用自动设备转移：outputs = model.generate(**inputs, max_new_tokens=256, do_sample=False, use_cache=True)
三、关闭内存交换（swap）并锁定统一内存分配
macOS在物理内存紧张时会将部分进程页写入磁盘swap文件，造成I/O阻塞与模型推理中断。DeepSeek V4单次推理峰值内存占用可达10–12GB（FP16），需防止系统主动换出关键张量页。
1、以管理员权限禁用动态swap：sudo launchctl unload -w /System/Library/LaunchDaemons/com.apple.dynamic_pager.plist
2、重启后确认swap已停用：sysctl vm.swapusage，输出应为vm.swapusage: 0.00M total, 0.00M used, 0.00M free
3、设置系统级内存保留：在启动脚本前添加：export PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.0，防止MPS缓存自动收缩触发页面换入换出。
四、启用4-bit量化并精简KV缓存结构
原始DeepSeek V4-16B模型在MPS上加载需约14GB内存，超出多数M系列Mac的统一内存余量。采用bitsandbytes的NF4量化可压缩权重体积，同时配合静态KV缓存裁剪降低实时内存峰值。
1、安装量化支持库：pip3 install bitsandbytes-cuda121 --no-deps || pip3 install bitsandbytes-macos
2、加载时启用QLoRA量化：model = AutoModelForCausalLM.from_pretrained(model_path, load_in_4bit=True, bnb_4bit_quant_type="nf4", device_map="mps")
3、覆盖默认attention实现，启用静态长度KV缓存：model.config.attn_implementation = "eager"
4、限制最大上下文长度以约束缓存尺寸：model.generation_config.max_length = 2048
五、调整系统级GPU调度策略
macOS默认对Metal计算任务采用保守功耗策略，尤其在无外接电源时主动限频。需通过内核参数干预GPU调度优先级，确保MPS计算单元持续处于高性能状态。
1、创建Metal性能策略配置文件：echo '{"MTLPreferIntegratedGPU":false,"MTLDisableGPUScheduling":true}' | sudo tee /Library/Preferences/com.apple.Metal.plist
2、重启Metal服务：sudo killall -u _mtlmanagementd
3、验证策略生效：defaults read /Library/Preferences/com.apple.Metal，确认输出含MTLDisableGPUScheduling = 1
4、连接电源适配器并保持屏幕常亮，避免系统进入低功耗渲染模式影响MPS连续计算。
