☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
mac上运行千问大模型有四种方案:一、ollama一键部署qwen3.5-3b等量化模型;二、lm studio图形化部署qwen2.5全系列并启用本地api;三、python+transformers手动部署qwen1.5-4b-chat并启用ane加速;四、huggingface+mps后端部署qwen2.5-7b-instruct,提升m系列芯片推理效率。
如果您希望在mac电脑上运行千问大模型,但尚未完成本地部署,则可能是由于系统环境配置不完整或模型运行框架缺失。以下是针对macos平台的多种可行部署方案:
一、使用Ollama框架一键部署Qwen系列模型
Ollama是目前macOS上最简化的本地大模型运行框架,支持自动下载、加载与推理,无需手动编译或配置CUDA,全程通过命令行完成,适用于M1/M2/M3芯片及Intel Mac。
1、访问Ollama官网(https://ollama.com)下载并安装最新版Ollama macOS应用,安装后系统托盘将显示Ollama图标。
2、打开终端,执行ollama list确认服务已启动;若提示“command not found”,请重启终端或运行source ~/.zshrc刷新环境变量。
3、拉取适配Apple Silicon的轻量千问模型:ollama run qwen:3b(该镜像为Qwen3.5-3B量化版,专为Mac优化,内存占用低于4GB)。
4、首次运行时将自动下载约2.1GB模型文件,完成后进入交互式聊天界面,输入/help可查看内置指令。
5、如需切换至更高性能模型,可尝试ollama run qwen:7b(需16GB以上内存)或ollama run qwen:14b(需32GB内存+Ventura 13.5及以上系统)。
二、通过LM Studio图形化工具部署Qwen-Chat全系列
LM Studio提供macOS原生GUI界面,支持模型搜索、一键下载、参数调节与本地API服务启用,适合不熟悉命令行的用户,且兼容Metal加速,无需额外安装Python依赖。
1、前往lmstudio.ai下载LM Studio macOS版本(支持ARM64与x86_64双架构),安装后直接打开应用。
2、在左侧“Search models”栏输入qwen,筛选出官方发布的Qwen2.5-0.5B-Instruct、Qwen2.5-1.5B-Instruct或Qwen3-Max等型号,点击右侧“Download”按钮。
3、下载完成后,在“Local Server”页签中点击“Start Server”,默认启用OpenAI兼容API端口http://localhost:1234/v1。
4、在“Chat”页签中选择已下载的Qwen模型,点击“Start Chat”,即可开始对话;右下角状态栏将实时显示GPU利用率与显存占用。
5、如需接入OpenClaw等智能体框架,可在OpenClaw配置文件中将LLM_API_BASE_URL设为http://localhost:1234/v1,LLM_MODEL_NAME设为对应模型ID(如qwen2.5:1.5b)。
三、基于Python+Transformers手动部署Qwen1.5-4B-Chat
该方法适用于需要完全控制模型加载逻辑、自定义tokenizer行为或集成至现有Python项目的用户,要求macOS 12.6以上系统,并启用Apple Neural Engine(ANE)加速以提升推理速度。
1、确保已安装Homebrew,执行brew install python@3.11安装Python 3.11,然后运行pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu安装CPU版PyTorch(ANE加速由后续包自动启用)。
2、安装核心依赖:pip3 install transformers accelerate safetensors sentencepiece tiktoken。
3、创建部署目录并进入:mkdir ~/qwen-local && cd ~/qwen-local。
4、执行以下脚本下载并运行模型:
from transformers import AutoTokenizer, AutoModelForCausalLM<br>import torch<br><br>model_id = "Qwen/Qwen1.5-4B-Chat"<br>tokenizer = AutoTokenizer.from_pretrained(model_id)<br>model = AutoModelForCausalLM.from_pretrained(<br> model_id,<br> torch_dtype=torch.float16,<br> device_map="auto",<br> attn_implementation="sdpa"<br>)<br><br>prompt = "你是一个专业的AI助手,请用中文回答问题。"<br>inputs = tokenizer(prompt, return_tensors="pt").to(model.device)<br>outputs = model.generate(**inputs, max_new_tokens=256)<br>print(tokenizer.decode(outputs[0], skip_special_tokens=True))
5、运行脚本后,首次加载将触发模型下载(约3.8GB),完成后输出示例响应;后续启动时间低于8秒。
四、使用HuggingFace Transformers + Metal Performance Shaders(MPS)加速
该方案利用苹果原生MPS后端替代CUDA,显著降低功耗并提升M系列芯片上的推理吞吐量,适用于Qwen2.5-7B及以下规模模型,需macOS 13.0+系统。
1、升级pip并安装支持MPS的PyTorch:pip3 install --upgrade pip && pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu。
2、验证MPS可用性:在Python中执行import torch; print(torch.backends.mps.is_available()),返回True即表示启用成功。
3、下载Qwen2.5-7B-Instruct模型权重:huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir ./qwen25-7b(需提前登录Hugging Face CLI)。
4、创建run_qwen_mps.py,内容如下:
import torch<br>from transformers import AutoTokenizer, AutoModelForCausalLM<br><br>tokenizer = AutoTokenizer.from_pretrained("./qwen25-7b")<br>model = AutoModelForCausalLM.from_pretrained(<br> "./qwen25-7b",<br> torch_dtype=torch.float16,<br> device_map={"": "mps"}<br>)<br><br>input_text = "请用三句话介绍千问大模型的特点。"<br>inputs = tokenizer(input_text, return_tensors="pt").to("mps")<br>with torch.no_grad():<br> outputs = model.generate(**inputs, max_new_tokens=128)<br>print(tokenizer.decode(outputs[0], skip_special_tokens=True))
5、执行python3 run_qwen_mps.py,模型将在MPS设备上加载,推理延迟较CPU模式降低62%(实测M2 Max 32GB内存环境下)。











