awq量化部署是qwen系列模型在资源受限设备上实现高效推理的关键路径，涵盖环境准备、模型校验、引擎适配、服务启动及效果验证五步，确保显存降低、响应快速、输出准确。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试在本地设备上运行千问Qwen系列模型，但受限于显存或计算资源，AWQ量化部署是实现高效推理的关键路径。以下是针对Qwen系列主流AWQ量化模型的详细部署步骤：
一、准备基础环境与硬件确认
AWQ量化虽大幅降低资源需求，但仍需满足最低运行条件，确保CUDA驱动、Python环境及依赖库版本兼容。该步骤旨在建立稳定、可复现的执行底座。
1、确认NVIDIA显卡型号及驱动版本，执行nvidia-smi命令，确保驱动版本≥525且CUDA可见；
2、安装CUDA 11.8或12.1配套工具包，并验证nvcc --version输出；
3、创建独立conda环境：conda create -n qwen python=3.10，并激活该环境；
4、升级pip至最新版：python -m pip install --upgrade pip；
5、安装基础PyTorch GPU版本：pip install torch==2.1.0+cu118 torchvision==0.16.0+cu118 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118。
二、下载并校验AWQ量化模型文件
直接使用未经校验的模型权重存在加载失败或推理异常风险。本步骤强调从可信源获取并验证模型完整性，避免因文件损坏导致后续流程中断。
1、克隆官方模型仓库（以Qwen3.5-4B-AWQ-4bit为例）：git clone https://github.com/Qwen/Qwen3.5-4B-AWQ-4bit.git /root/Qwen3.5-4B-AWQ-4bit；
2、进入模型目录：cd /root/Qwen3.5-4B-AWQ-4bit；
3、若模型含LFS大文件，先执行git lfs install再拉取；
4、检查目录中是否存在checksum.sha256文件，若有则运行sha256sum -c checksum.sha256验证所有权重文件哈希值；
5、如无校验文件，手动比对Hugging Face Hub页面标注的model.safetensors文件SHA256值。
三、安装适配的推理引擎与量化支持库
不同推理后端对AWQ格式的支持机制不同，需按目标引擎精确安装对应组件，否则将报Unsupported quantization method: awq错误。
1、若选用vLLM部署：执行pip install vllm==0.3.0 transformers==4.37.0；
2、若选用llama.cpp部署：需编译支持AWQ的分支，运行make clean && make LLAMA_CURL=1 LLAMA_AVX=1 LLAMA_CUDA=1；
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
3、若使用Transformers原生加载：必须安装autoawq库，命令为pip install autoawq；
4、验证AWQ支持：在Python中执行from awq import AWQModel，不报错即表示基础加载能力就绪；
5、设置环境变量export CUDA_VISIBLE_DEVICES=0，明确指定GPU设备编号。
四、启动AWQ模型服务（多后端方案）
根据实际硬件与使用场景选择最适配的启动方式，各方案均要求模型路径、量化参数与端口配置严格匹配，否则服务无法响应请求。
1、vLLM方案（推荐高吞吐场景）：python -m vllm.entrypoints.api_server --model /root/Qwen3.5-4B-AWQ-4bit --quantization awq --dtype half --gpu-memory-utilization 0.9 --port 7860；
2、llama.cpp方案（低显存/边缘设备）：./main -m /root/Qwen3.5-4B-AWQ-4bit/gguf-model.Q4_K_M.gguf -p "你好" -n 512 --temp 0.7；
3、Transformers + AutoAWQ方案（调试与开发）：python webui.py --model-path /root/Qwen3.5-4B-AWQ-4bit --load-in-4bit --use-flash-attn；
4、检查进程是否驻留：ps aux | grep vllm或lsof -i :7860确认端口监听状态；
5、立即访问http://localhost:7860，输入测试提示词，观察WebUI界面是否返回结构化JSON响应。
五、验证AWQ量化效果与基础功能
仅服务启动成功不代表AWQ量化生效，需通过显存占用、响应延迟及输出质量三重指标交叉验证量化是否真正起效。
1、执行nvidia-smi，确认显存占用稳定在约3GB（Qwen3.5-4B-AWQ-4bit典型值），超出4GB则可能未启用AWQ；
2、使用curl发送基准请求：curl -X POST http://localhost:7860/v1/completions -H "Content-Type: application/json" -d '{"prompt":"请用中文解释量子计算","max_tokens":128}'；
3、记录响应时间，正常应在800ms以内（RTX 4060级别显卡）；
4、检查返回文本是否包含合理语义、无乱码或截断，重点验证多语言支持（如输入“Bonjour”是否返回法文响应）；
5、调用/v1/chat/completions接口测试对话历史保持能力，发送连续两条消息验证上下文连贯性。
