残差连接要求输入x与f(x)形状一致，故首个卷积层若设stride=2下采样，shortcut必须同步用stride=2的1×1卷积或池化对齐，否则张量相加报错；padding=1配合3×3卷积可保持h×w不变（当stride=1时）。
ResNet中torch.nn.Conv2d的stride和padding怎么设才不破坏残差连接？
残差连接要求输入和输出张量形状一致（尤其是H×W），否则x + F(x)会报RuntimeError: The size of tensor a (32) must match the size of tensor b (16)。关键在每个block的首个卷积层：若想下采样（如从56×56→28×28），必须同步调整shortcut路径——要么用Conv2d(stride=2)配BatchNorm2d，要么用nn.AvgPool2d(kernel_size=2, stride=2)。切忌只改主路卷积而忽略shortcut，这是最常导致shape mismatch的坑。
为什么torchvision.models.resnet18(pretrained=True)加载后微调效果差？
预训练权重冻结不彻底或归一化不匹配是主因。实际操作中：
- 务必检查输入图像是否按ImageNet统计量归一化：
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) - 若只微调最后几层，用
model.layer4[0].conv1.weight.requires_grad = True显式放开，别依赖model.fc = ...后自动继承requires_grad - 加载pretrained后立即调用
model.eval()再做推理验证，避免BN层统计量污染
model.fc就开训，结果前向时BN仍用ImageNet的running_mean，输出全乱。
自定义ResNet block时，nn.Sequential和直接写forward哪个更可控？
直接重写forward更安全。用nn.Sequential容易掩盖分支逻辑——比如想在shortcut加DropPath或Stochastic Depth，Sequential无法插入条件分支。实操建议：
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
- 继承
nn.Module，在__init__里定义所有子模块（含可选的downsample） - 在
forward里明确写出identity = x和if self.downsample is not None: identity = self.downsample(x) - 避免把
ReLU放在残差加法前（即不要F.relu(x + shortcut)），标准ResNet是在每个block末尾做激活
训练ResNet时torch.cuda.amp.autocast为什么反而让loss爆炸？
AMP（自动混合精度）对ResNet这类深层网络敏感，尤其当batch size小或梯度累积时。根本原因是FP16下torch.nn.BatchNorm2d的running_var可能下溢为0，导致BN输出nan。解决方法：
- 强制BN层保持FP32计算：
model.buffers()[0].half()不行，得用model.layer1[0].bn1.float()逐层指定 - 或改用
SyncBatchNorm（多卡时更稳定） - 更稳妥的做法：先关AMP训通，再开
torch.cuda.amp.GradScaler配合scaler.step(optimizer)，而非全靠autocast
ResNet优化真正的复杂点不在结构设计，而在各组件间的数值契约——卷积的stride必须和shortcut对齐，BN的统计量必须匹配输入分布，AMP的精度切换必须避开BN的脆弱区间。这些细节没对齐，模型再深也没用。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
