如何使用Python在TensorFlow中实现自定义的学习率衰减策略？-Python教程-PHP中文网

直接用tf.keras.optimizers.schedules内置类不够用，因其仅支持固定函数形式；需自定义LearningRateSchedule子类，且__call__中必须全用tf.*操作以兼容图模式。

如何使用python在tensorflow中实现自定义的学习率衰减策略？

为什么直接用 `tf.keras.optimizers.schedules` 里的类不够用？

因为内置调度器（比如 ExponentialDecay、PiecewiseConstantDecay）只支持固定形式的函数，一旦你需要按训练 epoch 的奇偶性切换学习率、或根据验证 loss 平滑程度动态调整步长，它们就无能为力。这时候必须自己实现 tf.keras.optimizers.schedules.LearningRateSchedule 的子类。

怎么写一个可被 `model.compile()` 正确识别的自定义调度器？

关键不是“能运行”，而是“能被 TensorFlow 图模式正确追踪”——这意味着所有计算必须用 tf.* 操作，不能出现 Python 原生 if、for 或 NumPy 调用。常见错误是直接在 __call__ 里写 if step > 1000: return 1e-4，这会导致 eager 模式下看似正常，但启用 @tf.function 后报错 TypeError: Cannot convert a symbolic Tensor to numpy。

继承 tf.keras.optimizers.schedules.LearningRateSchedule
在 __init__ 中只存标量参数（如 initial_learning_rate），不存状态变量
重写 __call__(self, step)，且内部全部使用 tf.cond、tf.where、tf.math.* 等图兼容操作
返回类型必须是 tf.Tensor，且 dtype 与优化器期望一致（通常 tf.float32）

示例：一个每 500 步衰减一次、衰减因子为 0.9 的分段指数调度器：

class StepwiseExpDecay(tf.keras.optimizers.schedules.LearningRateSchedule):
    def __init__(self, initial_learning_rate, decay_steps=500, decay_rate=0.9):
        self.initial_learning_rate = tf.cast(initial_learning_rate, tf.float32)
        self.decay_steps = decay_steps
        self.decay_rate = decay_rate
<pre class="brush:php;toolbar:false;">def __call__(self, step):
    step = tf.cast(step, tf.float32)
    k = tf.floor(step / self.decay_steps)
    return self.initial_learning_rate * (self.decay_rate ** k)

如何验证自定义调度器在 `@tf.function` 下是否真正可用？

别只靠 print(lr_schedule(100)) 测试——那只是 eager 模式下的值。真正要测的是它能否被编译进训练图。最简验证方式是把它传给优化器，再调用一次 optimizer.learning_rate(step) 并用 tf.function 包裹：

Python数据分析(免费版)

提供Python数据清洗、统计分析与可视化建议，覆盖业务报表与科研数据的快速处理流程。

下载

@tf.function
def test_lr(step):
    return optimizer.learning_rate(step)
<h1>这行不报错，且输出是 tf.Tensor 类型，才算通过</h1><p>test_lr(tf.constant(1000))
</p>

容易忽略的点：如果调度器内部用了 tf.Variable（比如想记录上一次的 loss），它会破坏无状态性，导致分布式训练出错；所有状态必须由外部（如 callback）管理，调度器本身只能是纯函数。

训练时如何把自定义调度器和 `tf.keras.callbacks.ReduceLROnPlateau` 配合使用？

不能同时用——ReduceLROnPlateau 是基于指标的回调，它会直接修改优化器的 learning_rate 变量；而自定义 LearningRateSchedule 是在每次前向/反向传播中动态计算。两者冲突，后者会被前者覆盖。如果既要动态策略又要监控指标，得放弃 LearningRateSchedule，改用 tf.keras.callbacks.Callback 手动更新 optimizer.learning_rate.assign(new_value)。

这时要注意：手动赋值后，必须确保该变量在所有设备上同步（多 GPU 下需用 tf.distribute.get_strategy().scope() 包裹），否则不同 worker 学习率不一致。