根本原因是多进程、缓存机制与python引用管理共同导致内存累积：每个worker持有一份数据副本，未释放的张量引用阻碍gc，pin_memory和in-place操作加剧内存占用。
为什么DataLoader会越跑内存越高
根本原因不是DataLoader本身“泄漏”，而是它背后多进程、缓存机制和Python引用管理共同作用的结果。最常踩的坑是：你以为数据只加载一次，其实每个worker都持有一份副本；你以为batch用完就自动释放，其实张量还在计算图或变量引用里挂着。
num_workers设高反而吃光内存
当num_workers > 0时，PyTorch会fork出多个子进程加载数据。每个子进程都会独立加载整个数据集（或其索引缓存），并可能复制原始数据——尤其在自定义Dataset里用了np.load或PIL.Image.open但没及时关闭句柄时，内存会指数级增长。
- 默认情况下，每个worker会缓存已读取的样本（比如
__getitem__返回的tensor），不主动释放 -
pin_memory=True会让数据先拷贝到page-locked host memory，这部分内存不会被gc.collect()回收 - Linux下fork采用copy-on-write，但一旦worker修改了任何数据结构（如augmentation中in-place操作），就会触发真实内存复制
- 验证：运行
ps aux --sort=-%mem | head -10，能看到多个python子进程占用大量RSS
batch处理完不清理，显存/内存都卡住
哪怕你在训练循环里写了del batch，如果batch里的tensor还被其他变量引用（比如你把它存进了list、log字典，或者参与了未完成的计算图），GPU显存和CPU内存都不会真正释放。
Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本，属于3.14系列的第二个维护更新。该版本包含了18项修复，重点解决了多进程、数据类及正则表达式等模块的回归问题，并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式（移除GIL）正式获得官方支持，是Python发展的重要里程碑。
- GPU侧：调用
torch.cuda.empty_cache()只清空“未被引用”的缓存块，对仍被tensor持有的显存无效 - CPU侧：用
del batch+gc.collect()有一定效果，但前提是确认没有隐式引用（比如logging模块缓存了tensor） - 更可靠的做法是在每次迭代末尾显式切断计算图：
loss.detach().cpu().item()，避免loss持有整个前向路径 - 验证是否真释放：在循环中插入
print(torch.cuda.memory_allocated()/1024**2)，看数值是否回落
真正有效的优化组合
单点调优往往收效甚微，必须组合使用。重点不是“怎么省”，而是“在哪释放”和“谁在占着不放”。
- 先关掉
num_workers（设为0），确认内存是否稳定——这是定位问题的第一步 - 启用
worker_init_fn做进程级初始化，避免每个worker重复加载大文件或全局对象 - 在
Dataset.__getitem__里确保资源及时释放：img.close()、h5file.close()、del raw_data - 用
torch.utils.data.IterableDataset替代Dataset，彻底绕过索引缓存和随机采样带来的内存开销 - 对超大数据集，直接在
DataLoader外做流式分片：每次只把当前epoch需要的shard加载进内存，用完即del
最难察觉的是隐式引用——比如一个logger对象内部存了batch的shape，而shape是tensor属性，间接持有了整个tensor图。这种问题只能靠torch.cuda.memory_summary()和memory_profiler逐层排查，没法靠参数一键解决。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
