tensorflow 2.x 中继承 tf.train.optimizer 已失效，因其被彻底移除；正确做法是使用 tf.keras.optimizers.optimizer 子类化（仅限参数级变换）或手动实现梯度更新（如 @tf.function + assign_sub），以获得完全可控的优化逻辑。
TensorFlow 1.x 中继承 Optimizer 类的写法已失效
TensorFlow 2.x 默认启用 Eager Execution，tf.train.Optimizer 及其子类（如 tf.train.GradientDescentOptimizer）已被完全移除。你现在看到的旧教程里继承 Optimizer 并重写 _apply_dense、_create_slots 等方法的方式，在 TF 2.x 下会报 AttributeError: module 'tensorflow' has no attribute 'train' 或直接找不到类。
这不是你代码写错了，是 API 彻底重构了——TF 2.x 的优化器统一基于 tf.keras.optimizers.Optimizer，且不开放底层 slot 操作的继承接口。
TF 2.x 正确实现自定义优化逻辑的两种路径
如果你需要修改更新规则（比如带条件跳步、动态裁剪、耦合模型状态），不要试图继承 tf.keras.optimizers.Optimizer——它把 apply_gradients 设为 @final，子类无法重写核心逻辑。
- 用
tf.keras.optimizers.Optimizer的子类化仅适用于「参数级变换」：比如自定义学习率衰减、梯度缩放，但不能绕过apply_gradients内部流程 - 真正自由的控制，必须手动实现梯度应用：获取梯度后，用
tf.Variable.assign或tf.Variable.scatter_update（TF 1.x）/tf.Variable.assign_sub（TF 2.x）逐变量更新 - 推荐做法：封装一个函数，接收
model.trainable_variables和grads，内部做任意判断和赋值，再用tf.function加速
示例片段（TF 2.10+）：
@tf.function
def custom_apply(model_vars, grads, lr=1e-3):
for var, grad in zip(model_vars, grads):
if grad is None:
continue
# 比如只更新 norm > 1e-4 的梯度
if tf.norm(grad) > 1e-4:
var.assign_sub(lr * grad)
为什么不用继承而用 @tf.function + assign_sub
继承 tf.keras.optimizers.Optimizer 只能改 _resource_apply_dense 这类私有方法，但这些方法在 TF 2.x 中被硬编码进 C++ 后端，Python 层重写无效；即使能运行，也会丢失动量、RMSProp 等内置状态管理。
而手动 assign_sub 完全可控：
- 你可以读取任意
tf.Variable的当前值做条件判断（比如“如果 loss 上升就回退上一步”） - 可以插入调试逻辑：
tf.print("grad_norm:", tf.norm(grad)) - 可与
tf.summary或自定义 callback 耦合，无需 hack 优化器生命周期 - 性能无损：
@tf.function编译后与原生优化器速度基本一致
容易忽略的关键细节
手动更新时最常踩的坑不是语法，而是计算图和变量追踪：
-
grads必须来自tf.GradientTape显式记录，且tape.watch()不要漏掉中间变量（如果更新逻辑依赖中间激活） -
var.assign_sub(...)返回的是 op，不是新值；若需立即读取更新后结果，得加var.read_value() - 混合使用 Keras model.fit() 和手动更新会导致 optimizer.state（如动量）不同步——要么全用 Keras 接口，要么全手动，别混用
- 多 GPU（
tf.distribute.MirroredStrategy）下，assign_sub仍有效，但需确保grads是 per-replica 的，用strategy.run()包裹更新函数
复杂点不在写法，而在你是否清楚自己要绕过的是哪一层抽象——Keras Optimizer 封装的是「通用梯度更新协议」，一旦你需要打破这个协议，就得自己担起状态、同步、调试的整条链路。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
