dataparallel导致gpu 0显存爆掉，因其将模型完整副本置于cuda:0并汇聚所有卡的梯度与激活值于此做reduce_sum；ddp通过多进程+all-reduce实现显存均衡，需torch.distributed.run启动且各进程独立加载模型到本地卡。
为什么DataParallel会让GPU 0显存爆掉
因为nn.DataParallel默认把模型完整副本放在cuda:0，再广播到其他卡，但所有前向输出、梯度、中间激活值都先汇聚回GPU 0做reduce_sum和参数更新——GPU 0要多扛一份模型参数 + 全量梯度 + 所有卡的激活缓存。
典型现象是：双卡训练时，torch.cuda.memory_allocated(0)比torch.cuda.memory_allocated(1)高出30%~100%，哪怕device_ids=[0,1]且batch均分。
- 必须显式调用
model.to('cuda:0')，否则DataParallel会报错 -
device_ids只控制数据分发，不改变模型存放位置 - 即使你手动把模型
.to('cuda:1')再包装DataParallel，它内部仍强制拉回cuda:0
用DistributedDataParallel替代DataParallel
DistributedDataParallel（DDP）不是简单替换API，而是重构启动方式：每张卡运行独立进程，模型直接加载到本地卡，梯度通过NCCL在卡间all-reduce——没有中心聚合节点，显存自然均衡。
python-docx
下载
python-docx Skill功能概述python-docx Skill是一项面向实际任务的技能，主要用于本Skill提供使用python-docx生成专业Word文档的标准方法和最佳实践；生成安全服务方案文档；核心要点生成技术架构设计文档；生成任何需要专业排版的Word文档；核心库 : python-docx；使用与执行辅助库 : docx.shared , docx.enum , docx.oxml.ns；标准代码模板；1. 文档初始化；2. 字体设置（必须！它将相关步骤、工具调用和结果整理方式集
- 必须用
torch.distributed.run或mp.spawn启动，不能直接python train.py - 每个进程调用
model.to(rank)，rank对应本卡ID，不是固定cuda:0 -
DDP(model, device_ids=[rank])中的device_ids仅用于单进程多卡场景（罕见），单卡单进程直接传device_ids=None - 记得在
DataLoader里加DistributedSampler，否则各卡看到重复数据
临时救急：DataParallel下手动压低主卡负载
如果你暂时无法切DDP（比如依赖第三方库硬编码了DataParallel），可以靠三招缓解：
- 把大尺寸输入（如图像）提前缩放到最小可用分辨率，直接砍掉激活值显存——
activation memory ∝ batch_size × height × width × channel - 在
forward末尾插入torch.cuda.empty_cache()，尤其在模型返回大张量前，但别在训练循环里每步都调（影响吞吐） - 用
with torch.no_grad():包裹验证逻辑，避免验证时额外存一份梯度和激活值 - 禁用
DataParallel的output_device默认行为：nn.DataParallel(model, device_ids=[0,1], output_device=0)→ 改成output_device=1让结果吐到副卡（但要注意后续loss计算得在对应卡上）
容易被忽略的隐性显存放大器
即使用了DDP，GPU 0显存仍偏高，大概率是这些“影子开销”在作祟：
- 日志/可视化（如
tensorboard或wandb）把所有卡的指标全gather到GPU 0做汇总——改用torch.distributed.reduce在本地算完再send - 数据预处理在GPU 0做（比如用
torchvision.transforms里的Normalize没移到DataLoader外），导致GPU 0多存一份原始batch - 检查点保存时，
torch.save({'model': model.state_dict()}, ...)在GPU 0执行，state_dict仍是GPU张量——务必先.cpu()或指定map_location - PyTorch 2.0+默认启用
cudnn.benchmark=True，首次运行会缓存多个卷积算法，这部分显存不会计入memory_allocated但真实存在
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
