混合精度训练需手动启用mixed_float16策略、包装lossscaleoptimizer、确保模型构建前配置，三步缺一不可，否则无法生效或引发nan/acc下降等问题。
混合精度训练在TensorFlow 2.x中能显著提速且不明显掉点，但必须手动启用、显式配置，并避开tf.keras.mixed_precision.set_global_policy被覆盖的常见陷阱。
为什么默认不用float16？GPU显存和计算单元不匹配
TensorFlow 2.x默认使用float32，不是因为更“准”，而是兼容性优先。现代NVIDIA GPU（如V100、A100、RTX 3090+）的Tensor Core对float16或bfloat16有原生加速支持，但仅当数据类型、运算路径、内存搬运全部对齐时才生效。若只改输入dtype而不调整策略，反而可能触发降级回float32计算，白费显存还慢。
- 必须用
tf.keras.mixed_precision.Policy明确指定主策略，例如"mixed_float16"（推荐）或"mixed_bfloat16"（TPU/部分Ampere卡更稳） -
float16易溢出：梯度、中间激活值可能下溢为0或上溢为inf，需配合LossScaleOptimizer动态缩放 -
bfloat16动态范围大、不易溢出，但精度略低，适合对数值稳定性要求高的模型
启用混合精度的三步实操（缺一不可）
以下代码必须按顺序执行，且放在模型构建与编译之前——否则层会按默认float32初始化，后续无法自动降级。
- 调用
tf.keras.mixed_precision.set_global_policy("mixed_float16")，全局设为混合策略 - 用
tf.keras.optimizers.Adam等优化器时，**必须包装成tf.keras.mixed_precision.LossScaleOptimizer**，例如：opt = tf.keras.mixed_precision.LossScaleOptimizer(tf.keras.optimizers.Adam()) - 模型输出层的
activation（如softmax）和损失函数（如sparse_categorical_crossentropy）无需改动，但注意：若自定义损失函数内含tf.math.log等敏感操作，需显式转float32再计算
示例关键片段：
import tensorflow as tf
tf.keras.mixed_precision.set_global_policy("mixed_float16")
<p>model = tf.keras.Sequential([...]) # 层自动使用mixed_float16策略
opt = tf.keras.mixed_precision.LossScaleOptimizer(tf.keras.optimizers.Adam())
model.compile(optimizer=opt, loss="sparse_categorical_crossentropy", metrics=["accuracy"])</p>
训练中容易忽略的报错与修复
混合精度不是“开了就快”，它会在几个关键节点暴露隐性问题：
-
InvalidArgumentError: Cannot assign a device for operation ... node is colocated with a resource that is not placed on any device：说明某变量（如BatchNorm的running_mean）仍被强制放在CPU或未对齐设备，加with tf.device("/GPU:0"):包裹模型构建可缓解 - 训练loss突然变为
nan或剧烈震荡：大概率是loss scaling失效，尝试改用DynamicLossScale并增大初始scale值，或临时切换为"mixed_bfloat16" - 验证acc远低于预期（如下降5%+）：检查是否误将label转成了
float16——label必须保持int32或int64，否则损失计算出错 -
tf.data.Datasetpipeline中若用了map(..., num_parallel_calls=...)，确保映射函数返回的tensor dtype与策略一致，避免隐式cast开销
性能提升不是线性的，要看模型结构和batch size
混合精度对不同模型收益差异很大：
- CNN类模型（如ResNet、EfficientNet）通常提速20–35%，因卷积密集且显存带宽瓶颈明显
- RNN/LSTM类模型收益有限（
- 小
batch_size（如≤16）下提速不明显，因Kernel启动开销占比高；建议同步增大batch至GPU显存允许上限（如128–256）以最大化吞吐 - 务必搭配
tf.data.Dataset.prefetch(tf.data.AUTOTUNE)和.cache()，否则数据加载会成为新瓶颈，抵消混合精度收益
真正起效的信号是nvidia-smi里GPU-Util稳定在90%+，且每epoch耗时下降、显存占用减少25–40%。如果只看到显存省了但时间没变，大概率是数据管道或模型结构拖了后腿——混合精度不会拯救IO或算法缺陷。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
