问题源于模型精度未优化、kv缓存失控及web服务驻留，解决方案包括：一、启用int4量化（内存降至约800mb）；二、关闭kv缓存并截断上下文；三、禁用gradio改cli交互；四、调优windows内存策略；五、启用pytorch cpu内存池与垃圾回收。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在Windows系统中运行DeepSeek模型时观察到内存占用持续攀升、系统响应迟滞甚至出现“内存不足”警告，则问题极可能源于模型加载精度未优化、推理缓存未管控或Web服务层资源驻留过久。以下是解决此问题的多种可行方案：
一、启用INT4量化模型替代原生FP16权重
原始FP16权重加载将占用约3GB内存，而INT4量化可将单参数内存降至0.5字节量级，理论总内存压降至约800MB，显著缓解物理内存压力。该方案无需更换硬件，仅需替换模型格式并调整加载逻辑。
1、使用llm-awq工具对本地模型执行量化：awq quantize --model-path ./models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --wbits 4 --groupsize 128 --output-path ./models/quantized-r1-int4
2、修改加载脚本，强制指定INT4权重路径与AWQ后端：from awq import AutoAWQForCausalLM; model = AutoAWQForCausalLM.from_quantized('./models/quantized-r1-int4', fuse_layers=True)
3、启动时禁用自动设备映射，显式绑定至CPU：device_map = {'': 'cpu'}
二、关闭KV缓存并限制上下文长度
KV缓存会在每次生成时动态扩展，长上下文（如4096 token）将导致缓存内存呈线性增长；关闭该机制可跳过缓存分配逻辑，实测节省约18%峰值内存驻留空间，适用于单轮问答等无历史依赖场景。
1、在模型配置中显式设置use_cache=False：config = AutoConfig.from_pretrained('./models/quantized-r1-int4'); config.use_cache = False
2、调用generate方法时传入max_new_tokens=512，并将input_ids长度硬性截断至不超过1024：input_ids = input_ids[:, -1024:]
3、移除所有涉及past_key_values的中间状态保存逻辑，确保每次推理均为无状态启动
三、禁用Gradio Web界面改用纯CLI交互
Gradio默认启用多线程调度、前端资源预加载及会话历史持久化，叠加JS/CSS/assets缓存后，额外引入300–600MB内存开销。切换至命令行接口可完全剥离Web层负担，仅保留核心推理链路。
1、删除requirements.txt中gradio、fastapi、uvicorn等依赖项
2、重写主程序入口，移除app.launch()调用，改为循环读取sys.stdin：while True: prompt = input(': '); print(': ' + model.generate(prompt))
3、启动时通过python cli_inference.py而非streamlit run app.py执行
四、配置Windows内存页交换策略与进程优先级
Windows默认内存管理策略易在大内存申请时触发页面抖动与NUMA跨节点访问，导致实际带宽利用率下降；通过禁用透明大页与提升进程内存优先级，可减少内核级调度延迟与页表遍历开销。
1、以管理员身份运行PowerShell，执行：Set-ProcessMitigation -System -Disable SevereOptIn
2、在启动脚本前插入命令：start /high /affinity 3 python cli_inference.py（将进程绑定至前两颗物理核心并设为高优先级）
3、禁用Windows快速启动功能：控制面板 > 电源选项 > 选择电源按钮的功能 > 更改当前不可用的设置 > 取消勾选“启用快速启动”
五、启用PyTorch CPU内存池复用与主动垃圾回收
PyTorch在CPU模式下默认不复用已释放张量内存，频繁推理将导致内存碎片化；结合定期显式回收与内存池预留，可抑制内存持续增长趋势，维持稳定驻留水位。
1、在模型加载后立即初始化内存池：torch._C._set_cudnn_enabled(False); torch._C._set_mkldnn_enabled(True)
2、每次推理完成后插入清理指令：torch.cpu.empty_cache(); import gc; gc.collect()
3、设置环境变量限制最大内存分配：os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'max_split_size_mb:128'
