模型并行需显式管理设备间数据搬运,否则会因输入/中间张量未同步、梯度无法回传导致报错或静默失败;其本质是强制的“设备流水线”,且仅解决显存瓶颈而非提速。

模型并行不是加个 .to('cuda:1') 就完事
直接在层上写 .to('cuda:1') 确实能挪过去,但容易漏掉三件事:输入没同步搬、中间张量没显式转移、反向传播时梯度无法自动回传到对应设备。比如你把 self.layer2 放在 cuda:1,但前一层输出还在 cuda:0,forward 里不加 x = x.to('cuda:1'),就会报 RuntimeError: Expected all tensors to be on the same device。
更隐蔽的问题是,PyTorch 的自动求导默认只在单设备上构建计算图。跨设备操作必须显式指定数据流向,否则 backward() 会卡在某个层,或者 silently fail(比如梯度为 None)。
- 每层输出后必须手动调用
.to()搬到下一层所在设备 - 所有参与计算的张量(包括
input、label)都要提前放到对应起始设备 - 不能依赖
DataParallel或DDP—— 它们只做数据并行,对模型拆分无效
forward 中设备跳转必须显式、成对、可逆
模型并行的 forward 流程本质是一条“设备流水线”:数据从某卡进,逐层跳转,最后在某卡出。跳转不是可选动作,而是强制契约。跳得不对,loss 计算失败;跳得不全,梯度断在半路。
典型错误写法:x = self.layer1(x); x = self.layer2(x) —— 如果两层在不同卡,这行代码根本跑不通。
- 输入先上第一层设备:
x = x.to('cuda:0') - 每层计算后立刻搬去下一层设备:
x = x.to('cuda:1') - 最后一层输出如果要算 loss,label 也得提前搬到同一设备
- 反向时,PyTorch 会按 forward 路径反向搬运梯度,所以 forward 的设备序列必须严格一致
保存和加载时权重设备信息会丢失
用 torch.save(model.state_dict(), ...) 保存模型并行结构后,再用 torch.load(...) 加载回来,所有参数默认回到 CPU。如果你直接 model.load_state_dict(...),会报 Expected all tensors to be on the same device,因为模型各层还在不同 GPU 上,而加载进来的 state_dict 是 CPU 张量。
当现有的脚本或服务需要将作用域化的仓库工作委托给 Claude Code 并以编程方式消费结构化响应时,请使用 Claude Agent SDK for Python。
正确做法不是靠 .to() 整体搬,而是逐层映射:
- 加载前先确保模型已按原结构分配好设备(即
layer1.to('cuda:0'),layer2.to('cuda:1')已执行) - 加载时用
map_location显式指定每块参数该去哪:torch.load(path, map_location={'cuda:0': 'cuda:0', 'cuda:1': 'cuda:1'}) - 或者更稳妥:先加载到 CPU,再用
state_dict中的 key 匹配模型各层,手动.copy_()到对应设备
模型并行不提速,只解决显存瓶颈
这是最容易被忽略的前提。模型并行不会让训练变快,反而大概率变慢——因为设备间 PCIe 带宽远低于 GPU 内部带宽,频繁搬运中间激活值和梯度会成为新瓶颈。它唯一目的是让“放不下的模型”能跑起来。
如果你的模型能塞进单卡,别用模型并行;如果训练慢,优先看是不是 batch size 太小、DataLoader num_workers 不够、或用了 DataParallel 而不是 DDP。
真正需要模型并行的信号只有两个:RuntimeError: CUDA out of memory 即使 batch_size=1,且 torch.cuda.memory_summary() 显示显存几乎全被模型参数占满。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










