必须显式配置tf.keras.mixed_precision.policy并在模型构建前调用set_global_policy，否则即使gpu支持tensor core也默认使用fp32；策略需在model.compile前设置，且损失函数、优化器、自定义训练循环均需适配fp16数值特性。
混合精度训练需要启用 mixed_precision 策略，不是靠安装或环境变量自动生效
TensorFlow 的混合精度（FP16 + FP32）必须显式配置 tf.keras.mixed_precision.Policy 并绑定到模型和优化器，否则即使 GPU 支持 Tensor Core，也默认全用 FP32。常见错误是只调用 tf.config.experimental.enable_mixed_precision_graph_rewrite()（该 API 已废弃），或误以为装了 CUDA 11+ 就自动启用。
正确做法是：在构建模型前设置全局策略，并确保优化器包装 tf.keras.mixed_precision.LossScaleOptimizer（TF 2.9+ 中 LossScaleOptimizer 已集成进 Adam 等优化器，但需确认版本）：
import tensorflow as tf
policy = tf.keras.mixed_precision.Policy('mixed_float16')
tf.keras.mixed_precision.set_global_policy(policy)
注意：'mixed_float16' 表示权重以 FP16 存储、计算用 FP16，但部分层（如 BatchNorm、Softmax）仍用 FP32；'mixed_bfloat16' 更适合 TPU 或 A100。
model.compile() 前必须完成策略设置，且损失函数需适配 FP16 数值范围
策略必须在 model.compile() 之前设置，否则模型权重初始化会按默认 FP32 策略进行，后续无法动态切换。同时，FP16 动态范围小（约 5.96e−8 到 65504），容易出现 inf 或 nan，尤其在 softmax + cross-entropy 组合中。
推荐做法：
- 使用
tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)，避免 softmax 后再算 loss 导致的上溢 - 避免自定义 loss 中手动调用
tf.nn.softmax()；若必须，改用tf.nn.softmax(logits, dtype=tf.float32) - 验证时可临时切回
tf.float32策略（通过tf.keras.mixed_precision.Policy('float32')），避免评估指标异常
检查硬件与 TF 版本兼容性，避免 silently fallback 到 FP32
混合精度能否真正生效，取决于三者匹配：GPU 架构（Pascal 及更新，如 GTX 10xx、RTX 20xx/30xx/40xx、A100/V100）、CUDA/cuDNN 版本、TensorFlow 编译版本。TF 2.9+ 默认开启对 Ampere 架构（RTX 30xx）的 FP16 支持，但旧版 TF（如 2.5）可能仅支持 V100/A100 的 bfloat16。
快速验证是否生效：
- 运行
print(tf.keras.mixed_precision.global_policy())，输出应为mixed_float16（非float32） - 查看模型 summary 中各层
dtype：Conv2D、Dense 应显示<dtype:></dtype:>，BatchNormalization 显示<dtype:></dtype:> - 训练时监控 GPU 利用率与内存占用：FP16 训练显存通常下降 30–50%，若无变化，大概率未启用成功
梯度裁剪和学习率需重新调优，不能直接复用 FP32 设置
混合精度下梯度易因数值下溢变为 0（underflow），或因上溢变 inf，因此 tf.clipnorm 和 tf.clipvalue 的阈值需下调（例如从 1.0 改为 0.5），否则裁剪失效。同时，FP16 优化器步长更敏感，初始学习率常需提高 1.5–2 倍（如 Adam 原用 1e-3，现试 2e-3），但要配合 warmup 避免 early divergence。
关键点：
- 不要禁用 loss scaling —— TF 默认开启，但若自定义训练循环，需显式用
optimizer.get_scaled_loss()和optimizer.get_unscaled_gradients() - 检查
tf.debugging.check_numerics是否开启：它会拖慢训练，仅调试时启用 - 保存 checkpoint 时权重仍是 FP16，加载后若用于推理，注意部署环境是否支持 FP16 推理（如 TensorFlow Lite 需显式转换）
最易被忽略的是：混合精度不是“开箱即用”的加速开关，而是需要重新验证收敛性、loss 曲线稳定性、以及最终精度是否掉点——尤其在小模型或小 batch 场景下，FP16 可能反而降低精度。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
