int4量化可将大模型显存占用降低75%，使6–8gb显存显卡运行7b–9b模型。主要路径包括：一、autogptq进行ptq量化；二、llama.cpp加载gguf格式int4模型；三、transformers+bitsandbytes动态4bit加载；四、nunchaku flux专用int4推理栈；五、awq校准量化。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试在显存有限的消费级显卡上运行大语言模型，但遭遇CUDA out of memory错误，则很可能是模型权重精度过高导致显存超载。INT4量化通过将权重从FP16压缩至4位整数表示，使显存占用降低75%，让RTX 3050、GTX 1660 Super等6–8GB显存设备也能加载7B–9B级别模型。以下是实现该目标的多种可行路径：
一、使用AutoGPTQ工具进行PTQ量化
Post-Training Quantization（PTQ）无需训练数据或微调过程，仅需原始模型权重即可完成离线量化，适合快速部署。AutoGPTQ是当前主流且兼容性最强的INT4量化工具，支持Hugging Face格式模型，内置AWQ与GPTQ双后端。
1、安装AutoGPTQ依赖：
pip install auto-gptq transformers accelerate
2、执行量化命令：
python -m auto_gptq.quantization.quant_model \
--model THUDM/chatglm-6b \
--output chatglm-6b-int4 \
--bits 4 \
--group_size 128 \
--damp_percent 0.1
3、关键参数说明：
group_size 128表示每128个连续权重共享同一缩放因子（scale）与零点（zero_point），可平衡误差与压缩率；damp_percent 0.1用于抑制异常权重对量化参数的干扰，防止极端值拉偏整体分布。
二、通过llama.cpp加载GGUF格式INT4模型
llama.cpp采用纯C/C++实现，支持CPU+GPU混合推理，其GGUF格式原生集成INT4量化方案（如Q4_K_M），无需Python环境，对低资源设备极为友好。该方法绕过PyTorch显存管理，直接映射模型到内存，显存占用进一步压缩。
1、下载已预量化的GGUF模型文件，例如来自Hugging Face Hub的TheBloke/ChatGLM-6B-GGUF，选择chatglm-6b.Q4_K_M.gguf版本。
2、使用llama-cli加载并推理：
./llama-cli -m chatglm-6b.Q4_K_M.gguf -p "你好，请写一段电商文案" -n 256
3、优势说明：Q4_K_M在4bit基础上引入分组内均值校准与非对称量化，精度损失控制在1.2%以内，且支持Apple Silicon GPU加速。
三、基于Transformers + Bitsandbytes的4bit加载
Bitsandbytes提供NF4（Normal Float 4）与INT4双模式，其中NF4针对权重分布建模优化，比标准INT4更适配Transformer结构。该方式不生成新模型文件，而是运行时动态解压，适合开发调试阶段快速验证。
1、安装支持库：
pip install transformers bitsandbytes
ChatGPT Atlas（macOS）可在浏览网页时提供即时回复、内容总结与任务辅助。它支持智能建议、信息整理及多场景交互，同时配备可控隐私设置，让用户在使用过程中更加安全安心。针对 macOS 平台优化后，带来流畅自然的浏览体验，适用于办公、学习、创作及日常信息查询等多种场景。
2、在代码中启用4bit加载：
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"THUDM/glm-4v-9b",
device_map="auto",
l;load_in_4bit=True,
bnb_4bit_compute_dtype=torch.float16
)
3、注意事项：load_in_4bit=True自动启用QLoRA兼容模式，允许后续微调；但必须配合device_map='auto'以启用显存感知分配策略。
四、使用Nunchaku FLUX.1-dev专用INT4推理栈
Nunchaku团队为FLUX系列模型定制了硬件感知INT4推理引擎，深度绑定CUDA Graph与TensorRT插件，在RTX 30/40系显卡上实现6.7GB稳定显存封顶，且规避传统量化中的激活溢出问题。
1、克隆Nunchaku官方仓库：
git clone https://github.com/nunchaku-ai/nunchaku-flux-int4
2、构建推理环境：
cd nunchaku-flux-int4 && make build-cuda && pip install -e .
3、运行量化模型：
python examples/run_flux.py \
--model-path ./models/flux-1-dev-int4 \
--prompt "A cyberpunk city at night, neon lights" \
--max-new-tokens 64
4、技术亮点：该栈禁用全局归一化层重计算，改用通道级INT4激活缓存，避免FP16中间变量反复升维，实测显存波动幅度低于±0.3GB。
五、手动实现AWQ校准量化流程
Activation-aware Weight Quantization（AWQ）通过前向采样真实激活值，识别高敏感权重通道并保留其精度，其余通道按INT4压缩。此法精度最高，适用于对生成质量要求严苛的生产场景，但需准备校准数据集。
1、准备校准数据：选取256条典型输入文本，覆盖目标任务分布（如电商文案、技术问答等）。
2、运行AWQ校准脚本：
python awq_entry.py \
--model-path THUDM/chatglm-6b \
--w_bit 4 \
--q_group_size 128 \
--cali_data_path ./calibration_set.json
3、关键机制：AWQ在校准过程中冻结低敏感通道的scale，仅对top-k敏感通道施加FP16补偿权重，使INT4模型在MMLU基准上保持95.3%原始准确率。
