grok系列大模型推理时显存持续攀升致oom，主因是pytorch不主动释放脱离计算图的中间张量；需通过memory_summary对比确认缓存膨胀，再按序调用empty_cache()和gc.collect()，并在每轮推理后显式删除变量、同步、回收、清缓存。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在使用Grok系列大模型进行推理时，显存占用持续攀升导致OOM中断，根本原因是PyTorch默认不主动释放已脱离计算图的中间张量——这些“幽灵张量”堆积在缓存中却无法被自动回收。
确认显存泄漏是否由未释放的缓存张量引起
运行推理前，先执行 torch.cuda.memory_summary() 记录初始状态；完成一次完整推理后立即再调用一次，对比两行中 “Reserved memory by PyTorch” 与 “Allocated memory” 的差值。若差值持续扩大（例如从200MB涨到1.2GB），说明缓存池膨胀，而非模型参数本身占满显存。
这一步不能跳过——很多用户误以为是模型太大，实际只是缓存没清。
启用PyTorch内置的垃圾回收钩子
在模型加载完成后、首次推理前，插入以下三行代码：
import gctorch.cuda.empty_cache()gc.collect()
注意：必须按此顺序执行。【torch.cuda.empty_cache() 必须在 gc.collect() 之前调用】，否则Python引用计数未归零，CUDA缓存无法真正释放。
为每次推理迭代强制触发内存清理
方法一：在每轮推理结束后的末尾插入清理逻辑
在生成完一个输出后，立即执行：
del output, logits, hidden_states → torch.cuda.synchronize() → gc.collect() → torch.cuda.empty_cache()
其中 del 必须明确列出所有中间变量名，不能只写 del *；torch.cuda.synchronize() 是关键等待点，它确保GPU指令全部完成，否则 empty_cache() 可能清掉还在使用的显存块，直接报错。
方法二：用上下文管理器封装推理过程
定义一个装饰器或 with 块，在 __exit__ 中自动执行上述四步清理。这种方式避免遗漏，但需确保所有中间张量都在该作用域内创建——如果在外部提前赋值了 hidden_states，它不会被自动 del。
调整PyTorch缓存分配策略
第一步：禁用缓存复用机制
在程序最开头添加：
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "max_split_size_mb:128"
第二步：设置更激进的缓存上限
在模型加载前执行：
torch.backends.cuda.enable_mem_efficient_sdp(False)torch.backends.cuda.cufft_plan_cache.clear()
第三步：对每个推理批次单独控制缓存
在 model.generate(...) 调用中加入参数：use_cache=False。Grok-2及以上版本支持该参数关闭KV缓存复用，显存峰值下降约35%，代价是单次生成延迟增加12%～18%。
