deepseek v4 模型可采用五种 bitsandbytes 量化加载方法：一、4-bit nf4 量化（load_in_4bit=true）；二、8-bit 混合量化（load_in_8bit=true）；三、手动替换 linear 层为 4-bit；四、全层量化+双重量化+trust_remote_code；五、多卡 device_map 分片加载。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试使用 BitsAndBytes 库对 DeepSeek V4 模型进行 4-bit 或 8-bit 动态量化加载，但遇到参数配置错误、CUDA 内存溢出或权重加载失败等问题，则可能是由于量化配置项与模型结构不兼容或环境依赖未正确初始化。以下是实现该目标的多种可行方法：
一、使用 load_in_4bit=True 配置加载 DeepSeek V4 4-bit 量化模型
该方法通过 Transformers 集成的 BitsAndBytes 接口，在模型加载阶段直接启用 4-bit NF4 量化，适用于显存受限但需保留较高推理精度的场景。量化过程在 CPU 上预处理权重，再将量化后参数映射至 GPU 显存。
1、确保已安装支持 CUDA 的 bitsandbytes>=0.43.0 与 transformers>=4.40.0。
2、设置 BitsAndBytesConfig，指定 load_in_4bit=True、bnb_4bit_compute_dtype=torch.float16、bnb_4bit_quant_type="nf4"、bnb_4bit_use_double_quant=True。
3、调用 AutoModelForCausalLM.from_pretrained()，传入 model_id="deepseek-ai/DeepSeek-V4" 与配置对象，并设置 device_map="auto"。
4、验证模型 dtype 为 torch.uint8，且 Linear4bit 层数量大于 0。
二、使用 load_in_8bit=True 加载 DeepSeek V4 8-bit 量化模型
该方式采用基于 int8 的 FP8/INT8 混合量化策略，相比 4-bit 对显存压力更小、启动更快，适合快速部署验证，但会牺牲部分输出稳定性。权重以 int8 格式常驻显存，前向计算时动态反量化。
1、导入 BitsAndBytesConfig 并设置 load_in_8bit=True 与 llm_int8_skip_modules=["lm_head"]。
2、指定 torch_dtype=torch.float16，避免自动降级为 float32 导致 OOM。
3、调用 from_pretrained 时传入 quantization_config 参数，并设置 device_map="cuda:0"（不可设为 auto）。
4、检查模型中是否存在 Int8LinearInference 类型层，确认量化生效。
三、手动加载并注入 BitsAndBytes 线性层替换
当官方 AutoModel 接口无法适配 DeepSeek V4 特定架构（如自定义 MoE 路由头或非标准 RMSNorm 位置）时，可采用底层模块替换方式。该方法绕过高层封装，直接控制每个 Linear 子模块的量化行为。
1、先以 torch_dtype=torch.float16 加载原始模型，device_map="cpu"。
2、遍历 model.named_modules()，识别所有 torch.nn.Linear 实例，排除 lm_head 和 embedding 层。
3、对每个匹配层调用 replace_with_bnb_linear()，传入 bnb_4bit_quant_type="nf4" 与 compute_dtype=torch.float16。
4、执行 model.to("cuda") 后，确认所有被替换层的 weight 的类为 Params4bit。
四、使用自定义 BitsAndBytesConfig 启用双重量化与嵌入层量化
默认配置下，embedding 层和 lm_head 不参与量化，可能造成显存峰值突增。此方法显式启用全层量化，并开启 double quantization 以进一步压缩量化常量体积。
1、创建 BitsAndBytesConfig，设置 load_in_4bit=True、bnb_4bit_quant_type="nf4"、bnb_4bit_use_double_quant=True。
2、添加 bnb_4bit_quant_storage=torch.uint8，并设置 bnb_4bit_compute_dtype=torch.bfloat16（若 GPU 支持）。
3、在 from_pretrained 中传入该配置，并额外设置 trust_remote_code=True，因 DeepSeek V4 使用自定义 modeling_deepseek_v4.py。
4、加载完成后，运行 dummy_input = tokenizer("Hello", return_tensors="pt").to("cuda")，验证前向无 RuntimeError: expected scalar type Half but found Float 错误。
五、在多卡环境下使用 device_map 分片加载 4-bit 模型
当单卡显存不足但多卡可用时，可通过 device_map 指定各层分布，配合 BitsAndBytes 的分片感知能力实现跨设备量化加载。该方式要求 NCCL 初始化完成且 all_reduce 可通信。
1、设置 CUDA_VISIBLE_DEVICES=0,1，启动 Python 进程。
2、构造 device_map 字典，例如：{"model.layers.0": 0, "model.layers.1": 1, "lm_head": 0}。
3、使用 load_in_4bit=True + device_map=device_map 加载模型，注意禁用 bnb_4bit_use_double_quant（多卡暂不支持）。
4、调用 model.hf_device_map 查看实际分配结果，确认无 layer assigned to 'disk' 或未映射模块。
