TensorFlow怎么实现迁移学习_Python加载预训练权重进行Fine-tuning-Python教程-PHP中文网

正确做法是设 include_top=False 去掉原分类头，再手动添加适配任务类别的新输出层；冻结 backbone 后 loss 不降常因未生效或预处理不一致；微调时需分层设置学习率；加载权重须确保结构与预处理严格匹配。

tensorflow怎么实现迁移学习_python加载预训练权重进行fine-tuning

怎么用 `tf.keras.applications` 加载预训练模型并替换顶层

直接加载带分类头的模型（如 ResNet50(weights='imagenet')）会把最后的 Dense(1000) 层也带进来，但你的任务类别数通常不是 1000。必须显式去掉原分类头，否则 fine-tuning 时梯度会错误地更新整个输出层。

正确做法是设 include_top=False，再手动加新分类头：

base_model = tf.keras.applications.ResNet50(
    weights='imagenet',
    include_top=False,
    input_shape=(224, 224, 3)
)
x = base_model.output
x = tf.keras.layers.GlobalAveragePooling2D()(x)
x = tf.keras.layers.Dense(128, activation='relu')(x)
predictions = tf.keras.layers.Dense(num_classes, activation='softmax')(x)
model = tf.keras.Model(inputs=base_model.input, outputs=predictions)

include_top=False 是关键，漏掉就会加载原始 ImageNet 输出层
GlobalAveragePooling2D 比 Flatten 更稳定，尤其对不同输入尺寸鲁棒性更好
新 Dense 层的 activation 要匹配任务：多分类用 softmax，二分类用 sigmoid，回归任务用 None

冻结 backbone 后只训练新层，为什么 loss 不下降

常见现象：模型编译后 fit 几轮，loss 基本不动，accuracy 停在初始随机水平。大概率是 backbone 冻结没生效，或者归一化层（BatchNormalization）行为异常。

冻结必须在构建完模型后、编译前完成：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

base_model.trainable = False  # 必须写在这儿
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

只设 trainable=False 不够 —— 还要确认 BatchNormalization 层没在训练模式下更新统计量；建议加 training=False 到调用中，或用 tf.keras.layers.BatchNormalization(trainable=False) 显式控制
检查是否误用了 model.trainable = False（这是整模型冻结），应只冻结 base_model
如果数据没做和预训练模型一致的预处理（如 tf.keras.applications.resnet50.preprocess_input），输入分布偏移也会导致 loss 不降

解冻部分 backbone 微调时，学习率怎么设

全连接层学得快，卷积层学得慢。直接用和新层相同的学习率去更新浅层卷积权重，容易破坏已学好的通用特征，导致性能反退。

推荐分层设置学习率：新层用 1e-3，倒数第 1–2 个 block 用 1e-4，更底层用 1e-5 或冻结
用 tf.keras.optimizers.Adam 时无法直接给层设不同 lr，需改用 tf.keras.optimizers.legacy.Adam + 自定义 optimizer.get_gradients，更简单的是分阶段训练：先只训新层，再解冻顶部 block 并降低整体 lr
解冻后务必重新编译模型，否则 trainable 状态变更不生效
注意 BatchNormalization 层在解冻后要设为 training=True，否则其内部统计量不会更新

加载本地 .h5 权重文件后 shape 不匹配报错

错误信息通常是 ValueError: Layer weight shape (..., 2048, 1000) not compatible with provided weight shape (..., 2048, 5)，说明你加载的是完整模型（含原分类头）的权重，但当前模型输出维度是 5。

不要用 model.load_weights('xxx.h5') 加载完整模型权重到自定义结构上；应只加载 backbone 部分权重，用 base_model.load_weights(..., by_name=True)
如果权重来自 model.save('path')（含架构），加载时要用 tf.keras.models.load_model('path')，而不是 load_weights
确保保存和加载时的模型结构完全一致：包括 input_shape、include_top、池化方式等；哪怕差一个 padding 参数都可能引发 shape 错误