tensorflow 1.x 中需显式调用 ema.apply() 并用 ema.variables_to_restore() 构造 saver 才能正确保存/恢复 ema 影子变量；tf 2.x 推荐使用 optimizer.average_decay 参数或 tf.train.checkpoint 显式管理。
TensorFlow 1.x 中 tf.train.ExponentialMovingAverage 怎么用
EMA 在 TensorFlow 1.x（尤其是配合 tf.train.Saver 和 checkpoint 保存时）是标准做法，但容易漏掉关键两步：apply 和 restore。它不自动生效，必须显式调用 apply() 获取更新操作，并在 saver 中传入 variables_to_restore() 才能加载影子变量。
常见错误现象：tf.train.Saver 恢复后模型精度明显低于训练时——大概率是因为没从 EMA 影子变量恢复，而是直接加载了原始变量。
- 定义 EMA 实例时，
decay通常设为0.999或0.9999；值越大，滑动平均越“慢”，对历史权重保留越多 - 必须在构建训练 op 前调用
ema.apply([var1, var2, ...])，返回一个tf.Operation，需加入train_op依赖链（例如用tf.control_dependencies） - 保存时用
tf.train.Saver(ema.variables_to_restore())；否则默认保存的是原始变量，不是 EMA 影子变量 - 恢复时也要用同一个
Saver实例，且确保图中已创建影子变量（即ema.apply()已执行过）
TensorFlow 2.x / Keras 里没有 tf.train.ExponentialMovingAverage 怎么办
TF 2.x 默认禁用 graph mode，原生 API 已移除 tf.train.ExponentialMovingAverage。但 EMA 仍可实现，只是得手动维护影子变量和更新逻辑，或改用更现代的替代方案。
使用场景：你在用 tf.keras.Model + 自定义训练循环（tf.GradientTape），又需要类似 EMA 的稳定权重用于评估或部署。
- 推荐用
tf.keras.optimizers.Optimizer的average_decay参数（TF ≥ 2.14）：初始化优化器时传average_decay=0.999，它会自动创建并更新影子变量 - 若用旧版 TF 2.x，可手动在
@tf.function训练步骤中做加权更新：shadow_var.assign(moving_avg * shadow_var + (1 - moving_avg) * var)，注意用tf.Variable.trainable=False创建影子变量 - 别试图把 TF 1.x 的 EMA 代码直接搬到 eager mode 下——
ema.apply()返回的是 graph op，eager 下会报TypeError: Operation is not a valid function
为什么 tf.keras.callbacks.ModelCheckpoint 无法直接保存 EMA 权重
ModelCheckpoint 默认只保存模型的 trainable_variables，而 EMA 影子变量不属于模型变量范畴，也不在 model.weights 列表里，所以它根本“看不见”这些变量。
性能影响：强行把影子变量加进 model.variables 并不可取——它们不应参与梯度计算，且会干扰 optimizer 的 state 管理。
- 正确做法是绕过
ModelCheckpoint，改用tf.train.Checkpoint显式管理：构造时传入model=model, ema_variables=ema.variables_to_restore() - 保存时调用
checkpoint.write(path)，恢复时用checkpoint.restore(path).expect_partial() - 如果用了
tf.keras.optimizers.Optimizer的average_decay，它的影子变量会自动注册到optimizer._model_variables，此时Checkpoint(optimizer=opt, model=model)就能一并保存
验证 EMA 是否真的生效：看变量名和数值差异
最容易被忽略的地方是：你以为启用了 EMA，但实际变量根本没更新，或者恢复错了对象。最可靠的验证方式不是看 loss 曲线，而是直接 inspect 变量值和命名空间。
错误信号：print([v.name for v in tf.global_variables() if 'ExponentialMovingAverage' in v.name]) 返回空列表 → ema.apply() 没执行，或变量没传进去。
- 在训练几轮后，用
sess.run()（TF1）或var.numpy()（TF2）分别读取原始变量kernel:0和对应影子变量kernel/ExponentialMovingAverage:0，二者数值应有微小但稳定的差异 - 检查 Saver 加载后的变量值是否匹配影子变量名——如果加载后
kernel:0的值和训练时kernel/ExponentialMovingAverage:0一致，说明 restore 正确 - TF2 中若用
average_decay，可通过opt._average_weights属性拿到影子变量列表，挨个比对
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
