优先选awq（a100/4090d等高带宽卡，精度损失低0.8%、延迟降7%），显存受限时选gptq（rtx3060/a10，体积小10%、gguf兼容好），vllm 0.6+均支持，ollama/lmstudio仅支持gptq转gguf。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您正在为千问系列模型（如Qwen3、Qwen3.5-9B或Qwen3-VL）选择本地量化部署方案，则需根据硬件条件、精度敏感度与部署框架兼容性进行权衡。GPTQ与AWQ虽同属4-bit后训练量化方法，但其数学基础、优化目标与实际表现存在本质差异。以下是两种方案的具体实施路径：
一、采用GPTQ量化方案
GPTQ通过计算权重对误差的二阶敏感度（近似海森矩阵），在逐层校准过程中最小化权重重构误差，适合对显存压缩率要求极高且已有成熟GPTQ部署流程的场景。该方法依赖校准数据集质量，对输入分布较敏感，但推理稳定性强、社区工具链完善。
1、安装支持CUDA加速的量化库：执行pip install gptqmodel --no-deps，避免与旧版auto-gptq冲突；
2、加载原始Qwen模型并指定校准数据集：使用transformers.AutoModelForCausalLM.from_pretrained载入FP16权重；
3、配置GPTQ量化参数：设置bits=4、group_size=128、damp_percent=0.01，启用sym=False以保留非对称量化能力；
4、执行逐层量化：调用quantize_model接口，等待完成校准与权重重写；
5、保存为safetensors格式：生成含quantize_config.json的独立目录，供vLLM或text-generation-inference加载。
二、采用AWQ量化方案
AWQ引入激活值分布分析，识别出对最终输出起决定性作用的约1%“显著权重”（Salient Weights），对其保留更高精度，其余权重则执行激进压缩。该方法无需校准数据集，量化速度快，鲁棒性强，尤其在小参数量模型（如Qwen3-VL）上精度保持更优，但需注意AutoAWQ项目已停止维护。
1、切换至替代实现：使用gptqmodel中集成的AWQ后端，或直接调用vllm.AWQConfig；
2、准备模型与分词器：从Hugging Face加载Qwen/Qwen3.5-9B及对应AutoTokenizer；
3、定义AWQ配置：设置bits=4、group_size=128、zero_point=True，并启用version="GEMM"以兼容CUDA kernel；
4、执行感知激活的权重量化：调用quantize方法，系统将自动注入激活钩子并扫描前向传播中的关键通道；
5、导出为兼容格式：生成含awq_config.json的目录，确保model.safetensors中权重张量已映射为INT4+scale+zero。
三、依据硬件环境动态选型
若部署平台为NVIDIA A100或RTX 4090 D等高带宽显卡，且追求推理吞吐量与精度平衡，优先选用AWQ——实测显示其在MMLU和C-Eval上平均精度损失比GPTQ低0.8%，同时生成延迟降低7%；
若运行于RTX 3060（12GB）或A10（24GB）等显存受限设备，且需快速获得最小体积模型文件，GPTQ仍是更稳妥的选择——其量化后模型体积比AWQ小10%，且在llama.cpp+GGUF转换链中兼容性更高；
若目标框架为vLLM 0.6+，则两种方案均可原生支持，但需确认enforce_eager=False已启用FlashAttention内核；
若使用Ollama或LMStudio，当前仅支持GPTQ导出的.gguf中间格式，此时必须先将GPTQ量化结果经llama.cpp/convert.py转为GGUF。
