modelcheckpoint需正确配置filepath（含占位符）、save_weights_only=false、monitor与指标名一致；续训应加载权重+重建优化器，学习率调度器状态需用tf.train.checkpoint统一管理。
怎么用 tf.keras.callbacks.ModelCheckpoint 保存断点
直接用 ModelCheckpoint 就行，它专为断点续训设计，但默认行为容易让人误以为“没保存成功”——比如只存了权重、没存优化器状态，或者路径写错导致文件被覆盖或根本没生成。
关键配置项必须显式设对：
-
filepath要带格式占位符，例如"ckpt/epoch_{epoch:03d}_loss_{val_loss:.3f}.h5"，否则每次覆盖同一文件，续训时只能拿到最后一个 epoch 的权重 -
save_weights_only=False（默认是True），否则加载后model.load_weights()无法恢复优化器状态和学习率调度器，训练会从头初始化优化器 -
save_best_only=False（默认是False），如果设为True且你没监控val_loss或拼错监控名，就一个文件都不存 -
monitor必须与model.fit()中实际输出的指标名一致，比如用loss就别写成train_loss；验证阶段才有的指标（如val_accuracy）不能在没传validation_data时监控
加载检查点继续训练要注意什么
加载不是调 model.load_weights() 就完事。如果你保存的是完整模型（save_weights_only=False），应该用 tf.keras.models.load_model()；但更稳妥、也更常用的做法是分开加载：模型结构 + 权重 + 优化器状态。
因为 load_model() 要求保存时用了 tf.saved_model 格式（即 filepath 后缀是目录名，不是 .h5），而 .h5 只能存权重和架构，不存优化器。
所以推荐组合方案：
- 保存用
ModelCheckpoint(filepath="ckpt/model", save_weights_only=False, save_format="tf")→ 生成目录ckpt/model - 加载时先重建模型和优化器，再执行：
model = create_model() # 同结构 model.compile(optimizer=optimizer, loss="sparse_categorical_crossentropy") model.load_weights("ckpt/model") - 注意：
optimizer必须是同一个实例（或至少同类型+同初始参数），否则model.load_weights()不会恢复其内部状态（如 Adam 的m和v）
为什么训练重启后 loss 突然飙升
典型表现：第 100 轮中断，第 101 轮 resume 后 loss 从 0.2 跳到 2.5。大概率是学习率没恢复——Keras 默认不保存学习率调度器（LearningRateScheduler 或 ReduceLROnPlateau）的状态。
解决办法分两种：
- 如果是
tf.keras.optimizers.schedules.LearningRateSchedule子类（如ExponentialDecay），它的状态由当前epoch决定，只要你在fit(..., initial_epoch=100)中传对起始轮数，学习率自动对齐 - 如果是
ReduceLROnPlateau这类基于指标变化的调度器，它内部有best、wait、cooldown等状态，必须手动保存/恢复。建议改用tf.train.Checkpoint统一管理：checkpoint = tf.train.Checkpoint(model=model, optimizer=optimizer) checkpoint.restore(tf.train.latest_checkpoint("ckpt"))这样连优化器步数、调度器状态全包了
用 tf.train.Checkpoint 替代 ModelCheckpoint 的实际代价
它确实更底层、更可控，但代价是：你得自己写回调逻辑来触发保存，不能直接塞进 model.fit() 的 callbacks 列表里。
最小可用实现：
class CustomCheckpoint(tf.keras.callbacks.Callback):
def __init__(self, checkpoint_dir):
self.checkpoint = tf.train.Checkpoint(model=self.model, optimizer=self.model.optimizer)
self.manager = tf.train.CheckpointManager(self.checkpoint, checkpoint_dir, max_to_keep=3)
<pre class="brush:python;toolbar:false;">def on_train_batch_end(self, batch, logs=None):
if batch % 100 == 0:
self.manager.save()
注意点：
-
self.model和self.model.optimizer在__init__里还不可用，必须在on_train_begin中赋值 -
CheckpointManager的max_to_keep是按全局 step 数删旧文件，不是按 epoch；如果每 epoch 步数不固定，可能删掉不该删的 - 保存的文件是
ckpt-1、ckpt-2这种命名，没有 loss/accuracy 等语义信息，排查时不如ModelCheckpoint直观
真正需要精细控制优化器状态、自定义训练循环、或混合精度训练时，tf.train.Checkpoint 才值得上；日常 fit 场景，老实用 ModelCheckpoint 配好参数更省心。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
