需先确认gpu显存余量与模型尺寸匹配：执行nvidia-smi -q -d memory | grep "used"获取已用显存，总显存减之得可用空间，若剩余不足则需量化降配。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
想在本地设备上跑通 Hermes Agent，又不想为显卡多花几千块，就得把模型量化这件事做扎实——量化不是简单调个参数，而是要在推理速度、显存占用、生成质量三者之间亲手捏出一个平衡点。
确认当前 GPU 显存余量与模型尺寸匹配度
执行 nvidia-smi -q -d MEMORY | grep "Used" 查看已用显存，用总显存减去该值，得到可用空间。若剩余 【，则禁止尝试 Qwen3-Max FP16 或 Llama-3-70B 全精度加载；若剩余 ≥12GB，可保留 fallback 切换空间，允许主模型使用 AWQ 量化+备选模型启用 GPTQ。
这一步不能跳过。显存不足时强行启动 vLLM 服务，会触发 CUDA OOM 并静默降级为 CPU 推理，响应延迟飙升至 8 秒以上。
选择量化方式并写入 config.yaml
方法一：AWQ（推荐入门首选）
内存压缩率高、精度损失小、兼容性最好。在 config.yaml 中添加：
model:
provider: vllm
name: TheBloke/Llama-3-8B-AWQ
quantization: awq
方法二：GPTQ（适合对生成质量敏感的场景）
需额外安装 auto-gptq，且仅支持部分模型。配置时必须指定 gptq_bits: 4 和 gptq_group_size: 128，否则加载失败。
方法三：FP8（仅限 NVIDIA H100/A100/L40S）
不适用于 RTX 4090 及以下消费卡。若强行启用，vLLM 启动报错 "FP8 not supported on current device"，且不会回退到默认模式。
启动服务前校验量化配置有效性
第一步：运行 hermes config check，确认无字段冲突或缺失依赖。
第二步：执行 vllm serve TheBloke/Llama-3-8B-AWQ --quantization awq --host 0.0.0.0 --port 8000，观察终端输出是否含 "Using AWQ kernel" 字样。
第三步：发起一次健康检查：curl http://localhost:8000/health，返回 {"healthy": true} 即表示量化加载成功。
第四步：发送测试请求：curl -X POST http://localhost:8000/v1/completions -H "Content-Type: application/json" -d '{"model":"TheBloke/Llama-3-8B-AWQ","prompt":"Hello","max_tokens":32}'，验证首 token 延迟 ≤380ms。
如果第四步返回空响应或超时，说明量化模型未正确绑定到 vLLM 引擎——此时不要修改 temperature 或 max_tokens，先回到第二步检查 --quantization 参数拼写是否为小写 awq，大小写错误会导致静默忽略量化指令。
