残差连接必须在 forward 中执行加法，不能在 init 中定义；需确保 identity 与主干输出 shape、device、dtype 一致，加法后用非 inplace ReLU。
残差连接必须在 forward 里做加法，不能放 __init__
PyTorch 的残差连接本质是张量运算，发生在前向传播时，不是模型结构定义阶段。如果你在 __init__ 里写 x + identity，会直接报错——因为此时 x 还不存在，identity 也没法提前确定 shape。
常见错误现象：TypeError: cannot determine Numpy conversion type 或 AttributeError: 'NoneType' object has no attribute 'shape'，往往是因为误把前向逻辑塞进初始化。
- 所有输入输出 shape 必须对齐：
identity和主干分支输出的tensor要能广播相加（通常要求完全一致） - 如果主干分支做了下采样（如 stride=2 的卷积），
identity也要同步用 1×1 卷积 + BatchNorm 对齐 channel 和 resolution - 别忘了加
nn.ReLU(inplace=True)在加法之后——这是 ResNet 原始设计，漏掉会导致后续梯度异常
用 nn.Identity() 还是直接传 x？看是否需要变换
nn.Identity() 是个占位模块，不改变输入；但它只在需要“统一接口”时有用，比如你想让 shortcut 分支也走一个可学习的子模块（如 self.downsample）。多数情况下，直接传原始 x 更轻量、更可控。
使用场景举例：ResNet 的 BasicBlock 中，当 stride > 1 或 in_channels != out_channels，就必须启用 self.downsample；否则就用原输入。
- 不需要变换时：直接写
out += x，比out += self.downsample(x)少一层调用开销 - 需要变换时：确保
self.downsample是nn.Sequential，且最后一层输出 shape 与主干严格匹配 - 别在
forward里临时创建nn.Conv2d——这会泄漏参数，且每次 forward 都新建对象，显存暴涨
加法前必须检查 device 和 dtype 是否一致
GPU 训练时最常踩的坑：主干输出在 cuda:0，而 identity 还在 CPU 上，或一个是 float32、另一个是 float16，直接相加会触发 RuntimeError: Expected all tensors to be on the same device 或类型不匹配错误。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
这不是理论风险，而是真实高频问题，尤其在自定义初始化、混合精度训练、多卡 DDP 场景下。
- 最稳妥做法：在加法前加断言
assert out.device == identity.device and out.dtype == identity.dtype - 避免用
.to(x.device)动态搬运——它隐式创建新 tensor，影响性能；应在 downsample 模块内部完成 device/dtype 对齐 - 如果用了
torch.compile，这种运行时断言可能被优化掉，建议配合torch._assert（仅限 debug）或日志提示
inplace=True 的 ReLU 可能破坏梯度流
很多人习惯写 nn.ReLU(inplace=True) 省显存，但在残差加法后立刻 inplace 修改，会让反向传播时找不到原始 out 值，导致某些框架（尤其是旧版 PyTorch 或 ONNX 导出）出错。
现象包括：训练 loss 不下降、梯度为 nan、ONNX 模型加载时报 Invalid graph。
- 推荐写法：
out = F.relu(out)（不用 inplace）或显式nn.ReLU(inplace=False) - 只有当你确认整个计算图中没有其他分支依赖该 tensor 的原始值时，才能用 inplace——但残差结构天然存在“复用”，默认禁用更安全
- 注意
F.relu和nn.ReLU行为一致，只是前者函数式、后者模块式；两者都支持inplace参数，别混淆
残差连接看着简单，但 device 对齐、shape 匹配、inplace 控制这三点，任一疏忽都会让模型静默失效——它不会报错，只会训不动、导不出、跑不对。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
