GPU显存溢出可通过量化与虚拟内存协同解决：INT4量化压缩权重显存，NF4+eager模式降低KV缓存开销；启用Unified Memory、CPU offload及内存限制策略，并约束生成长度与环境变量防碎片化。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在本地部署DeepSeek模型后遭遇GPU显存溢出（CUDA out of memory），问题通常并非源于模型本身不可运行，而是加载精度、缓存机制与硬件资源之间的动态失配。以下是针对“更换量化倍数更高的模型”与“增加虚拟内存分配”两类路径的具体操作方案：
一、更换量化倍数更高的模型
降低模型权重精度可直接削减静态显存占用，INT4量化相比FP16可实现约75%显存压缩，且对R1-Distill-Qwen-1.5B等蒸馏模型影响极小。关键在于选择兼容的量化实现与加载方式。
1、使用bitsandbytes 4-bit量化加载，启用NF4数据类型与FP16计算：
2、指定device_map="auto"让transformers自动分片，避免手动指定设备引发张量分布不均；
3、禁用默认的KV缓存预分配，通过attn_implementation="eager"绕过FlashAttention-2的额外显存开销；
4、若使用vLLM，须改用AWQ或GPTQ格式模型，并确认其校准参数已适配R1-Distill版本——否则可能因校准统计冗余导致显存反升高达12%。
二、增加虚拟内存分配
当GPU物理显存不足时，系统级虚拟内存扩展可作为临时缓冲层，通过CPU-GPU统一寻址机制将部分张量页换出至高速系统内存。该方法不改变模型结构，但依赖驱动与运行时协同支持。
1、设置CUDA_VISIBLE_DEVICES环境变量限定可见GPU，防止多进程竞争；
2、启用NVIDIA Unified Memory，在启动脚本中添加：export CUDA_MEMORY_POOL_SIZE=16G；
3、在PyTorch初始化前插入：torch.cuda.set_per_process_memory_fraction(0.8)，限制单进程显存上限，为系统内存预留空间；
4、配合accelerate库启用CPU offload，将优化器状态与部分层参数卸载至内存，需配置zero_optimization.stage=3并启用offload_param.device="cpu"。
三、混合策略：量化+虚拟内存协同启用
单独使用任一方法存在边际递减效应：仅量化无法缓解KV Cache线性增长压力，仅扩展虚拟内存会引入PCIe带宽瓶颈。二者协同可覆盖静态权重与动态推理开销双重峰值。
1、以load_in_4bit=True加载模型，同时设置bnb_4bit_compute_dtype=torch.float16；
2、在生成配置中强制约束max_new_tokens≤1024，抑制KV Cache膨胀；
3、启动时注入环境变量：CUDA_LAUNCH_BLOCKING=1 TORCH_CUDA_ALLOC_CONF=max_split_size_mb:128，防止显存碎片化加剧；
4、若使用Gradio等Web框架，关闭其默认的多线程预热行为，避免未请求状态下提前占满显存。
