bitsandbytes库支持4-bit/8-bit量化部署：需先验证python≥3.10、pytorch≥2.3及cuda兼容性；再按硬件选择pip安装或源码编译；接着配置bitsandbytesconfig并加载模型，确认linear4bit/linear8bitlt生效；最后用state_dict或save_pretrained保存含量化状态的模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试在有限硬件资源上部署大型语言模型，但遭遇显存不足或磁盘空间紧张问题，则很可能是由于模型参数仍以FP32或BF16精度全量加载。以下是完成Bitsandbytes库4-bit/8-bit量化部署的完整流程：
一、环境准备与兼容性验证
部署前必须确认系统满足基础运行条件，避免因版本不匹配导致量化模块无法加载或计算异常。PyTorch与Python版本需严格对齐，CUDA工具链须与GPU架构兼容。
1、检查Python版本是否为3.10或更高：python --version
2、验证PyTorch是否为2.3+且CUDA可用：python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"
3、确认GPU计算能力：nvidia-smi && nvidia-smi -q | grep "Product Name" -A 1
4、若使用Intel XPU，执行：python -c "import torch; print(hasattr(torch, 'xpu') and torch.xpu.is_available())"
5、若使用Apple Silicon，确认macOS版本≥14：sw_vers -productVersion
二、Bitsandbytes库安装与验证
安装方式需根据硬件平台和CUDA版本动态选择，预编译包适用于绝大多数NVIDIA用户，而源码编译可启用特定后端优化并适配老旧驱动。
1、标准PyPI安装（自动匹配CUDA版本）：pip install bitsandbytes>=0.42.0
2、指定CUDA 12.1优化安装：pip install bitsandbytes --extra-index-url https://download.pytorch.org/whl/cu121
3、Intel XPU专用安装：pip install bitsandbytes --index-url https://pypi.org/simple/ --no-deps
4、源码编译安装（需CMake ≥3.22.1、GCC ≥11）：git clone https://gitcode.com/gh_mirrors/bi/bitsandbytes.git && cd bitsandbytes && cmake -DCOMPUTE_BACKEND=cuda -S . && make && pip install -e .
5、验证安装成功：python -m bitsandbytes.test —— 输出“ALL TESTS PASSED”即为就绪
三、4-bit量化模型加载与配置
4-bit量化通过NF4编码表对权重进行归一化压缩，结合双重量化（double quant）进一步降低缩放因子存储开销，适用于推理与QLoRA微调场景。
1、导入必要模块：from transformers import AutoModelForCausalLM, BitsAndBytesConfig
2、构建4-bit量化配置：bnb_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type='nf4', bnb_4bit_use_double_quant=True, bnb_4bit_compute_dtype=torch.bfloat16)
3、加载模型并自动注入Linear4bit层：model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf", quantization_config=bnb_config, device_map="auto")
4、确认量化生效：print(next(model.parameters()).dtype) # 应输出torch.uint8；print(model.model.layers[0].self_attn.q_proj.weight.__class__) # 应为Linear4bit
四、8-bit量化模型加载与配置
8-bit量化采用LLM.int8()方案，基于分块（block-wise）动态缩放，在保持零性能损失前提下实现内存减半，特别适合高吞吐推理服务。
1、构造8-bit量化配置：bnb_config = BitsAndBytesConfig(load_in_8bit=True, llm_int8_threshold=6.0)
2、加载模型并启用智能设备映射：model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", quantization_config=bnb_config, device_map="balanced_low_0")
3、验证激活值量化行为：from bitsandbytes.nn import Linear8bitLt; print(isinstance(model.model.layers[0].mlp.gate_proj, Linear8bitLt))
4、启用离群值缓存加速（仅限NVIDIA GPU）：os.environ["LLM_INT8_SKIP_MODULES"] = "lm_head"
五、量化模型序列化与持久化保存
量化模型的状态不可直接用常规state_dict保存，必须提取包含量化元信息（QuantState）的完整参数字典，否则加载时将丢失缩放因子与零点等关键数据。
1、获取含量化状态的完整参数：state_dict = model.state_dict()
2、保存为标准PyTorch格式：torch.save(state_dict, "llama-2-7b-4bit-state.pt")
3、若需保存完整模型结构与量化配置，使用Hugging Face safetensors封装：model.save_pretrained("./llama-2-7b-4bit-safetensors/", safe_serialization=True)
4、验证保存完整性：saved_config = torch.load("llama-2-7b-4bit-state.pt"); print('quant_state' in saved_config['model.layers.0.self_attn.q_proj.weight'])
