必须在创建分布策略前设置全局混合精度策略，否则因策略仅对默认策略生效而报错；若已启用mirroredstrategy，则需在strategy.scope()内调用set_global_policy并配合lossscaleoptimizer。
为什么直接用 tf.keras.mixed_precision.Policy 会报错 ValueError: Policy can only be set on the default strategy
因为 TensorFlow 的混合精度策略必须在创建任何模型或变量前设置，且仅对默认分布策略（即未显式调用 tf.distribute.MirroredStrategy() 等）生效。一旦你手动初始化了分布策略，就得改用策略范围（scope）方式配置。
- 错误做法：先创建
MirroredStrategy，再调用mixed_precision.set_global_policy('mixed_float16') - 正确顺序：要么不使用分布策略，直接设全局策略；要么把策略嵌套进
strategy.scope()中 - GPU 驱动和 CUDA 版本需匹配——
mixed_float16在 Turing 架构（如 RTX 2080）及以上才真正加速，Pascal（如 GTX 1080）仅降精度不提速
如何在 tf.distribute.MirroredStrategy 下启用混合精度
必须把模型构建、优化器定义、损失函数都包在 strategy.scope() 内，且优化器要包装成 tf.keras.mixed_precision.LossScaleOptimizer（TF 2.9+ 已自动集成，但显式指定更可控）。
strategy = tf.distribute.MirroredStrategy()
with strategy.scope():
policy = tf.keras.mixed_precision.Policy('mixed_float16')
tf.keras.mixed_precision.set_global_policy(policy)
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">model = tf.keras.Sequential([...])
# 注意：optimizer 必须在此 scope 内定义
optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)
optimizer = tf.keras.mixed_precision.LossScaleOptimizer(optimizer) # TF 2.9+ 可省略此行，但保留更稳
model.compile(
optimizer=optimizer,
loss='sparse_categorical_crossentropy',
metrics=['accuracy']
)
LossScaleOptimizer 用于防止梯度下溢——FP16 梯度容易变成 0，它会在反向传播时动态缩放 loss 再缩回- 若用自定义训练循环，需手动调用
optimizer.get_scaled_loss()和optimizer.get_unscaled_gradients() - 验证集/推理阶段无需混合精度，模型会自动降级为 FP32 推理（
Policy默认启用loss_scale仅影响训练）
哪些层/操作容易破坏混合精度流程
不是所有层都原生支持 mixed_float16；某些操作会强制回退到 FP32，导致性能不升反降，甚至数值异常。
SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、
-
BatchNormalization默认在 FP32 中累积 running mean/variance，安全；但若手动设dtype='float16'会出 NaN -
tf.nn.softmax和tf.nn.log_softmax在 FP16 下易溢出，应确保输入已缩放（如减去最大值），或让模型最后输出用tf.float32计算 - 自定义
tf.keras.layers.Layer中若含tf.reduce_sum、tf.math.reduce_mean等归约操作，需显式指定dtype=tf.float32，否则可能因 FP16 累加误差崩掉 - 数据输入仍用
tf.float32——Dataset.map()中不要提前 cast 到float16，Keras 会自动转换
如何验证混合精度是否真正生效
光看训练速度没用，得确认权重、激活、梯度确实在 FP16 路径上流动，且 loss scale 没频繁跳变。
- 检查日志：启用
tf.debugging.set_log_device_placement(True)，观察 kernel 是否调用cublasLtMatmul（FP16 加速库） - 运行时打印：
print(model.layers[0].dtype)应为float16；print(optimizer.loss_scale)若是DynamicLossScale，说明缩放机制在工作 - 监控指标：若
loss出现突增或nan，大概率是某处未适配 FP16（比如 softmax 输入过大），此时可临时关闭 loss scaling 测试定位 - 注意
model.save()保存的是 FP32 权重——混合精度只影响训练过程，导出模型仍是标准格式
混合精度不是开个开关就完事，关键在“哪里该 float16、哪里必须 float32”的边界判断；最容易被忽略的是自定义层里的数值稳定性操作和 loss 缩放失效时的静默降级行为。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
