pytorch ddp 必须先调用 torch.distributed.init_process_group 初始化进程组，每个进程独立初始化并传入 backend、init_method、rank、world_size；模型需先 .to(device)（device 由 local_rank 动态指定），再包装 ddp 并显式设置 device_ids 和 output_device；数据加载必须用 distributedsampler 并调用 set_epoch；梯度清零应使用 model.zero_grad(set_to_none=true)。
PyTorch DDP 初始化必须调用 torch.distributed.init_process_group
不初始化就直接用 torch.nn.parallel.DistributedDataParallel，程序会卡死或报 RuntimeError: Default process group is not initialized。这不是警告，是硬性前提。
常见错误是只在 rank 0 上初始化，或漏掉 backend、init_method、rank、world_size 四个必需参数。正确做法是每个进程（每张卡）都独立调用一次：
import torch.distributed as dist
dist.init_process_group(
backend="nccl", # 必须用 nccl（GPU）或 gloo（CPU）
init_method="env://", # 推荐用环境变量启动，避免硬编码地址端口
rank=int(os.environ["LOCAL_RANK"]),
world_size=int(os.environ["WORLD_SIZE"])
)
注意：LOCAL_RANK 是单机多卡时每张卡的本地序号（0,1,2…），WORLD_SIZE 是总卡数；不要混用 RANK（全局序号），尤其在多机场景下容易出错。
模型包装前必须先 model.to(device)，且 device 要和当前 rank 对齐
DDP 不会自动帮你把模型搬到 GPU 上，也不接受 CPU 模型。如果模型还在 CPU 上就传给 DistributedDataParallel，会报 Expected all tensors to be on the same device。
关键点在于：每个进程只能看到自己的那块 GPU，所以 device 必须按 LOCAL_RANK 动态指定：
device = torch.device(f"cuda:{int(os.environ['LOCAL_RANK'])}")
model = model.to(device)
model = torch.nn.parallel.DistributedDataParallel(
model,
device_ids=[int(os.environ["LOCAL_RANK"])], # 必须显式指定
output_device=int(os.environ["LOCAL_RANK"]) # 避免 output 被默认搬到 cuda:0
)
-
device_ids和output_device缺一不可，尤其当LOCAL_RANK ≠ 0时，漏掉会导致 loss 计算异常或梯度同步失败 - 别用
model.cuda()—— 它默认搬到 cuda:0，多卡时只有 rank 0 的卡能用，其余进程会出错
数据加载必须用 torch.utils.data.distributed.DistributedSampler
普通 DataLoader 会让所有进程读取全部数据，造成重复训练、吞吐翻倍但效果不升反降。DDP 本身不切分数据，靠 sampler 实现样本分流。
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
必须把 DistributedSampler 作为 DataLoader 的 sampler 参数传入，并设 shuffle=True（它内部已处理 epoch 级 shuffle）：
train_sampler = torch.utils.data.distributed.DistributedSampler(
dataset,
num_replicas=int(os.environ["WORLD_SIZE"]),
rank=int(os.environ["LOCAL_RANK"]),
shuffle=True
)
train_loader = DataLoader(dataset, batch_size=32, sampler=train_sampler)
- 别再手动
dataset[rank::world_size]切分 —— 这样无法保证每个 epoch 的 shuffle 独立性和随机性 -
drop_last=True强烈建议开启，否则最后一批可能因各卡样本数不均导致all_reduce卡住 - 验证集也建议用
DistributedSampler（shuffle=False），否则多卡 eval 结果不可比
训练循环中 loss.backward() 前要调用 model.zero_grad(set_to_none=True)
DDP 的梯度同步发生在 backward() 返回后，但如果你沿用单卡习惯用 optimizer.zero_grad()，会触发两次清零（DDP 内部也会清），不仅低效，还可能干扰某些自定义梯度逻辑。
官方推荐方式是直接对模型调用 zero_grad，并启用 set_to_none=True（节省显存）：
for epoch in range(epochs):
train_sampler.set_epoch(epoch) # 关键！确保每 epoch shuffle 不同
for data, target in train_loader:
data, target = data.to(device), target.to(device)
optimizer.zero_grad() # ❌ 错误：可能与 DDP 内部冲突
# ✅ 正确：
model.zero_grad(set_to_none=True)
output = model(data)
loss = criterion(output, target)
loss.backward() # DDP 自动触发 all_reduce 同步梯度
optimizer.step()
另一个常被忽略的点：每个 epoch 开始前必须调用 train_sampler.set_epoch(epoch)，否则多卡间 shuffle 序列完全一致，失去数据多样性。
DDP 的核心其实就三件事：进程组初始化、模型按 rank 绑定设备、数据按 rank 切片。其余都是围绕这三点防错——比如没关 shuffle、没设 set_epoch、或者 device_ids 写成固定值，都会让多卡变成“多个单卡各自训”，表面跑通，实则白费显存和时间。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
