结论：ddp中权重初始化不一致的根源是各进程rng状态相同导致reset_parameters()生成重复权重，必须在init_process_group后、模型实例化前，按rank设置不同seed并重置所有rng。
直接说结论：权重初始化不一致，根本不是“随机种子没设好”能解决的，而是因为 DistributedDataParallel 启动后各进程独立执行 reset_parameters()，但默认共享同一个 RNG 状态——结果就是所有卡上初始化出完全相同的权重，彻底破坏分布式训练的语义。
为什么 torch.manual_seed() 在 DDP 里失效？
很多人以为只要在 init_process_group 前设了全局 seed 就万事大吉。错。PyTorch 模块（如 nn.Linear）在实例化时会立即调用 reset_parameters()，而该方法内部使用的是当前线程的 RNG 状态。DDP 多进程启动后，每个进程初始 RNG 状态完全一样，导致所有卡上的权重矩阵一模一样。
- 现象：4 卡训练，
model.conv1.weight[0, 0, 0, 0]在 rank 0/1/2/3 上值全相同 - 后果：梯度聚合后等效于单卡训练，收敛变慢、泛化变差
- 验证方式：在
model = MyModel()后立刻打印各 rank 的某层权重，就能确认是否重复
torch.cuda.manual_seed_all() 不够，必须 per-rank seed
关键不是“设种子”，而是“每个 rank 设不同种子”。不能只靠 torch.manual_seed(42)，它对所有进程生效一次；必须让每个进程基于自身 rank 构造独立 seed。
Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本，属于3.14系列的第二个维护更新。该版本包含了18项修复，重点解决了多进程、数据类及正则表达式等模块的回归问题，并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式（移除GIL）正式获得官方支持，是Python发展的重要里程碑。
- 正确做法：
seed = 42 + torch.distributed.get_rank()，再分别调用torch.manual_seed(seed)和torch.cuda.manual_seed(seed) - 注意顺序：必须在
init_process_group之后、模型实例化之前执行 - 别漏掉其他 RNG：如果用了 NumPy 或 Python random，也要同步重置：
np.random.seed(seed)、random.seed(seed)
加载预训练权重时的初始化冲突
如果你从 checkpoint 加载权重（比如 model.load_state_dict(checkpoint)），那初始化就不再发生——但前提是 checkpoint 里包含完整 state_dict。一旦你删层、改结构、或用 strict=False 跳过部分 key，那些没被覆盖的参数仍会走默认 reset_parameters()，又回到上面的多卡同权重问题。
- 典型场景：替换分类头后加载 backbone 权重，新 fc 层仍被重复初始化
- 安全做法：加载前先冻结整个模型
model.requires_grad_(False)，再手动解冻需要微调的部分，并**显式初始化它们** - 示例：
nn.init.xavier_uniform_(model.fc.weight)，而不是依赖自动 reset - 更稳妥：把初始化逻辑封装成函数，在
get_rank() == 0时只由主卡生成初始化张量，再用torch.distributed.broadcast()分发到其他卡
最易被忽略的点：即使你修复了初始化，如果数据加载器（DataLoader）用了 shuffle=True 且没设 generator=torch.Generator().manual_seed(seed)，各卡看到的 batch 顺序仍可能不同——这虽不影响权重本身，但会让 loss 曲线看起来“不一致”，误判为初始化问题。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
