如何在Python中实现PyTorch的残差连接_通过加法操作构建ResBlock-Python教程-PHP中文网

resblock加法要求x与f(x)四维shape完全一致，否则报错；需用1×1卷积或插值对齐尺寸，shortcut仅适配形状、不加非线性，且必须合理初始化。

如何在python中实现pytorch的残差连接_通过加法操作构建resblock

PyTorch里ResBlock的加法连接必须满足shape一致

残差连接本质就是 x + F(x)，但PyTorch不会自动广播或reshape——如果 x 和 F(x) 的 batch、channel、height、width 四个维度不完全相同，直接加会报 RuntimeError: The size of tensor a (32) must match tensor b (64) at non-singleton dimension 1 这类错误。

常见场景：下采样分支（比如用 stride=2 的卷积）输出 channel 翻倍、H/W 减半，而主干路径 x 没变。这时候不能硬加，得先对 x 做适配。

若仅 channel 不同（如输入 64，F(x) 输出 128），用 nn.Conv2d(in_channels=64, out_channels=128, kernel_size=1, stride=1, bias=False) 升维，再加
若 H/W 也不同（如 56×56 → 28×28），适配卷积需同步设 stride=2，且通常加 padding=0 避免额外填充
不做适配时，可临时用 F.interpolate(x, size=F_x.shape[-2:], mode='nearest') 对齐空间尺寸，但这是权宜之计，影响梯度流和模型设计本意

nn.Sequential 里不能直接写 x + self.conv(x)，得用类继承重写 forward

nn.Sequential 是纯前向容器，不支持分支+融合逻辑。想实现 out = x + self.main_path(x)，必须自定义 nn.Module 子类，显式控制数据流。

典型错误是把残差块写成：

bad_block = nn.Sequential(
    nn.Conv2d(64, 64, 3, padding=1),
    nn.ReLU(),
    nn.Conv2d(64, 64, 3, padding=1)
)  # 缺少加法，也没接入输入 x

正确做法是：

class ResBlock(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        self.main_path = nn.Sequential(
            nn.Conv2d(in_channels, out_channels, 3, stride=stride, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(inplace=True),
            nn.Conv2d(out_channels, out_channels, 3, padding=1, bias=False),
            nn.BatchNorm2d(out_channels)
        )
        self.shortcut = nn.Identity()
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Conv2d(in_channels, out_channels, 1, stride=stride, bias=False)
<pre class="brush:python;toolbar:false;">def forward(self, x):
    return self.main_path(x) + self.shortcut(x)