Python迁移学习怎么做_冻结预训练权重与微调模型层-Python教程-PHP中文网

冻结PyTorch预训练模型层需设param.requires_grad = False，而非仅删梯度；冻结后须调用model.train()确保BatchNorm更新；微调建议解冻最后1–2个block及分类头，并验证可训练参数数量非零。

python迁移学习怎么做_冻结预训练权重与微调模型层

怎么冻结 PyTorch 预训练模型的层

冻结权重就是让某些参数在训练时不更新，只更新你指定的层。关键不是“删掉梯度”，而是把 requires_grad 设为 False，否则即使没用到也会参与反向传播计算，浪费显存和时间。

常见错误是只改了模型结构（比如加了新分类头），但忘了关掉 backbone 的梯度——结果训了半天，resnet50 的权重纹丝不动，而你还在怀疑学习率设太小。

冻结整个 backbone：

for param in model.backbone.parameters():
    param.requires_grad = False

只冻结前几层（比如前 4 个 layer）：

for name, param in model.named_parameters():
    if "layer1" in name or "layer2" in name or "layer3" in name:
        param.requires_grad = False

冻结后务必调用 model.train()，否则 BatchNorm 层会卡在 eval 模式，导致微调失效

微调时该解冻哪些层

全解冻容易过拟合，尤其数据少；全冻结又学不到任务特异性特征。通常解冻最后 1–2 个 block + 分类头是最稳妥的起点。

比如用 torchvision.models.vgg16 做医学图像二分类：原始 classifier 是 1000 类输出，你替换成 2 类，这时至少要解冻整个 classifier；如果效果差，再逐步放开 features[28:]（即最后几个卷积层）。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

ResNet 系列建议解冻 layer4 和 fc 层
ViT 模型建议解冻最后 2–3 个 encoder.layer + head
解冻后记得检查 param.requires_grad 是否真为 True，别信名字——有些模型内部用了 nn.Sequential 包裹，层名不直观

为什么验证集准确率卡住不动

大概率是冻结/解冻逻辑没生效，或者优化器没看到可更新参数。PyTorch 的 torch.optim.SGD 或 Adam 只会优化传入的参数列表，如果你传的是 model.parameters()，而所有参数都 requires_grad=False，那优化器根本不会做任何事——连 loss 都不会下降。

训练前打印可训练参数数量：

sum(p.numel() for p in model.parameters() if p.requires_grad)

，确认不是 0

检查是否误用了 model.eval() —— 微调阶段必须保持 model.train()
小数据集上，BatchNorm 层的 running stats 更新不稳定，可考虑用 model.apply(lambda m: setattr(m, 'track_running_stats', False) if isinstance(m, nn.BatchNorm2d) else None) 临时关闭统计更新（慎用，仅调试）

加载预训练权重后怎么替换分类头

直接改 model.classifier 或 model.fc 就行，但要注意新层的初始化。PyTorch 默认对新 Linear 层用 kaiming_uniform_，一般够用；但如果原模型用了特殊初始化（比如 ViT 的 xavier_normal_），最好手动对齐。

替换 resnet50 的 fc：

model.fc = nn.Linear(model.fc.in_features, num_classes)

替换 vit_b_16 的 head：

model.heads.head = nn.Linear(model.heads.head.in_features, num_classes)

替换后不用重新加载预训练权重——只有未匹配的层会被随机初始化，其余照常加载

最容易被忽略的是：不同预训练模型对输入归一化要求不同。resnet50 期望 mean=[0.485,0.456,0.406]，而 vit_b_16 用的是 mean=[0.5,0.5,0.5]。归一化错，特征提取就全偏了，再怎么调层也没用。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！