必须写自定义训练循环，因为model.fit()封装过严，无法支持梯度裁剪、动态学习率、多损失加权、混合精度调试及多模型协同更新（如GAN）等需求；需用tf.GradientTape显式控制前向、反向与优化全过程。
为什么不能直接用 model.fit() 而要写自定义训练循环
当你需要在每步训练中插入梯度裁剪、动态学习率调整、多损失加权、混合精度调试、或同时更新多个模型（如 GAN 中的生成器和判别器）时，model.fit() 的封装会卡住你。它把前向、反向、优化器 step 全包死了，你没法插手中间状态。
典型信号包括：训练时报 InvalidArgumentError: You must feed a value for placeholder tensor（说明你用了旧式 tf.placeholder + Session 模式，但新 TensorFlow 2.x 默认 Eager 模式，该错误其实更常出现在混用 Keras 和低阶 API 时），或者你想打印某一层的梯度 norm 却发现 model.trainable_variables 拿不到中间梯度——那是因为 model.fit() 内部不暴露 tf.GradientTape 上下文。
- 必须用
tf.GradientTape显式记录前向过程 - 优化器更新必须手动调用
optimizer.apply_gradients() - 所有张量运算需在
tf.function装饰下才能获得图模式性能，否则纯 eager 运行极慢
如何正确构建带 tf.GradientTape 的训练步骤
核心不是“写个 for 循环”，而是确保 tape 记录的是实际参与计算的张量，并且变量没被意外脱离计算图。常见错误是把 model(input) 放在 tape 外，或对 loss 使用了 numpy 转换（比如 loss.numpy()）导致 tape 断开。
一个最小可用的 train_step 函数长这样：
@tf.function
def train_step(x, y):
with tf.GradientTape() as tape:
y_pred = model(x, training=True)
loss = loss_fn(y, y_pred)
# 如果有正则损失，要显式加进来
if model.losses:
loss += tf.add_n(model.losses)
gradients = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))
return loss
-
@tf.function必须加，否则每个 step 都走 Python 解释器，GPU 利用率常年低于 10% -
model(x, training=True)的training参数不能省，否则 BatchNorm / Dropout 不生效 -
model.losses是 Keras 自动收集的 layer-level loss（如 kernel l2 正则），漏掉会导致正则失效 - 不要在 tape 内做
print()或tf.print()以外的日志——它们会强制退出图模式
如何处理验证、梯度裁剪和指标更新
验证阶段不用 tape（不求导），但依然要用 @tf.function 加速；梯度裁剪不是“防止爆炸”的万能开关，它只是把梯度向量缩放到指定范数内，不解决根本原因；而 Keras Metric 对象必须显式 .update_state() 和 .result()，不会自动聚合。
推荐结构：
@tf.function
def val_step(x, y):
y_pred = model(x, training=False)
loss = loss_fn(y, y_pred)
val_loss.update_state(loss)
val_accuracy.update_state(y, y_pred)
return loss
<h1>在主循环里：</h1><p>gradients = tape.gradient(loss, model.trainable_variables)</p><h1>✅ 正确裁剪</h1><p>gradients, _ = tf.clip_by_global_norm(gradients, clip_norm=1.0)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))</p>
-
tf.clip_by_global_norm比clip_by_value更稳定，它按所有梯度的全局 L2 范数缩放 -
train_accuracy.update_state()必须在每个train_step后调用，不能只在 epoch 结尾算——batch size 变化时平均值会偏 - 验证时也建议用
@tf.function，哪怕数据少；否则val_step可能比train_step慢 3 倍以上
为什么 tf.data.Dataset 迭代器容易出错
最常踩的坑是把 for x, y in dataset: 写在 @tf.function 外面，导致每次循环都重新 trace 图；或者用 dataset.as_numpy_iterator() 把数据拉成 numpy，彻底退出 GPU 加速路径。
- 正确做法：用
iter(dataset)创建迭代器，然后在@tf.function外单次取 batch，在函数内只做计算 - 避免
dataset.batch().prefetch()之后再list()全加载进内存——大 dataset 直接 OOM - 如果用
tf.keras.utils.image_dataset_from_directory，注意它默认label_mode="int"，但sparse_categorical_crossentropy才接受 int 标签；若用categorical_crossentropy，得设label_mode="categorical"或自己 one-hot
自定义训练循环真正难的不是语法，而是时刻意识到：你正在绕过 Keras 的安全网，每一个 tf.Variable、每一处 tf.function 边界、每一次 GradientTape 的起止，都在决定训练是否收敛、是否复现、是否跑得动。漏掉一个 training=True，模型就静默退化；少一次 update_state，指标就永远不准。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
