在Python中怎样使用TensorFlow 2.x进行迁移学习微调

酷杰酱_9489

酷杰酱_9489

2026-11-21

974人浏览

原创

include_top=False是必须的,因为需替换原分类头以适配自定义类别数;若设为True,模型自带固定输出维度的Dense层且权重冻结,导致形状不匹配或梯度无法回传到主干。

在python中怎样使用tensorflow 2.x进行迁移学习微调

用 tf.keras.applications 加载预训练模型时,为什么 include_top=False 是必须的?

微调的前提是替换原有分类头,否则你无法适配自己的类别数。如果保留 include_top=True,模型会自带一个固定输出维度(如 ImageNet 的 1000 类)的 Dense 层,且权重已冻结,后续添加新层会导致形状不匹配或梯度无法回传到主干。

实操建议:

  • 始终设 include_top=False,并手动接上你自己的分类头,例如:GlobalAveragePooling2D() + Dense(num_classes, activation='softmax')
  • 若想保留部分原始 top 结构(比如用 base_model.output 接 Dense(1024) 再接你的输出),也必须设为 False,否则 base_model.output 指向的是 softmax 输出张量,不是特征图
  • 注意输入尺寸:不同 backbone 对 input_shape 有硬性要求(如 ResNet50 要求至少 (192, 192, 3)),低于会报 ValueError: Input size must be at least ...

冻结与解冻层:什么时候该调 trainable=True?

冻结是迁移学习的核心控制点,不是“全冻”或“全解”,而是按特征抽象程度分层处理。底层卷积提取通用纹理边缘,高层提取语义部件(轮子、眼睛等),你的任务越接近原任务(如猫狗分类 vs ImageNet),可解冻的层数越多。

实操建议:

  • 先全局冻结:base_model.trainable = False,只训练你加的顶层——这是最安全的起点
  • 验证准确率稳定后,再局部解冻:例如从倒数第 3 个 Conv2D 开始设 trainable=True,其余保持 False
  • 解冻后务必重新编译模型:model.compile(),否则优化器不会为新可训参数创建状态变量,导致训练无更新
  • 避免直接对整个 base_model 设 trainable=True 后立即用大 learning rate 训练,容易破坏预训练特征,推荐配合 tf.keras.optimizers.Adam(1e-5)

数据增强和 fit() 时,batch_size 和 steps_per_epoch 怎么设才不丢样本?

使用 tf.data.Dataset 或 ImageDataGenerator 时,常见错误是 steps_per_epoch 算错,导致每个 epoch 实际训练样本数少于预期,尤其在启用随机增强后,你以为跑了 100 步,其实只看到 80% 的原始数据。

使用 Claude Agent SDK 将绑定的 Claude 代码会话嵌入到 Python 自动化中
使用 Claude Agent SDK 将绑定的 Claude 代码会话嵌入到 Python 自动化中

当现有的脚本或服务需要将作用域化的仓库工作委托给 Claude Code 并以编程方式消费结构化响应时,请使用 Claude Agent SDK for Python。

下载

实操建议:

  • 用 len(dataset) 或 generator.samples // generator.batch_size 计算理论步数,但注意:若 shuffle=True 且数据量不能被 batch_size 整除,最后不足一批的数据会被丢弃
  • 更可靠的做法是显式指定 steps_per_epoch=math.ceil(total_samples / batch_size),并确保 generator.flow(..., shuffle=True) 的 seed 在每个 epoch 重置,否则增强重复性高
  • 对于小数据集(batch_size 别设太大(如 >32),否则单 batch 内多样性不足,增强效果打折扣;推荐 16 或 32
  • 若用 tf.data,记得加 .repeat(),否则 fit() 会在一个 epoch 后抛 OutOfRangeError

验证损失不降反升?检查 BatchNormalization 层的 training 参数

这是微调中最隐蔽的坑:预训练模型里的 BatchNormalization 层在推理时用移动均值/方差,但在训练时需用当前 batch 统计值。如果你冻结了主干但没控制 BN 行为,它会在训练时仍更新统计量,导致验证时分布偏移、loss 飙升。

实操建议:

  • 冻结主干后,显式禁用 BN 更新:base_model.trainable = False 后,遍历所有层:if isinstance(layer, tf.keras.layers.BatchNormalization): layer.trainable = False
  • 若解冻部分层,BN 层必须保持 trainable=True,但要在 model.compile() 时启用 run_eagerly=False(默认)并确保训练模式正确传递——最简方案是用 model(x, training=True) 显式控制,但 fit() 默认会传
  • 验证时 loss 突然跳变,立刻打印 layer.moving_mean 和 layer.moving_variance 是否在变,变就说明 BN 还在偷偷更新

微调真正难的不是代码写几行,而是每次解冻一层、换一组学习率、改一次增强策略后,得耐心看 3–5 个 epoch 的验证 loss 曲线是否平滑下降——中间任何抖动都可能是 BN、数据泄露或步数算错导致的,而不是模型本身的问题。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1971

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5624

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1909

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

34537

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4027

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4027

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1303

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3143

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程