pytorch的torch.cuda.amp需成对使用autocast与gradscaler，初始化gradscaler(init_scale=2048)，前向在autocast内、损失计算后调用scaler.scale(loss).backward()、scaler.step(optimizer)和scaler.update()，缺一不可，否则易因梯度下溢导致训练崩溃。
直接说结论：在 PyTorch 或 TensorFlow 中启用混合精度训练，能显著提升 CNN 训练速度（实测 1.3–2.1 倍），同时降低显存占用约 30%–50%，但必须配合损失缩放（loss scaling）和 FP32 主权重备份，否则大概率训练发散或精度骤降。
PyTorch 的 torch.cuda.amp 怎么配才不崩
PyTorch 1.6+ 内置的自动混合精度（AMP）是目前最稳妥的选择，但它不是“开个开关就完事”。常见错误是只加 autocast 却漏掉 GradScaler，导致梯度下溢归零——尤其在 ResNet、VGG 等含大量小激活值的 CNN 中高频出现。
- 必须成对使用：
torch.cuda.amp.autocast控制前向计算精度，torch.cuda.amp.GradScaler负责动态调整损失缩放因子 -
GradScaler的init_scale别硬设成 65536；从 2048 开始，让scaler.step(optimizer)自动增减更稳 - 卷积层（
Conv2d）、批归一化（BatchNorm2d）默认进autocast区，但nn.CrossEntropyLoss必须放在 autocast 外显式转为 FP32 输入，否则 softmax 内部易溢出 - 示例关键段：
scaler = torch.cuda.amp.GradScaler(init_scale=2048)
for data, target in loader:
optimizer.zero_grad()
with torch.cuda.amp.autocast():
output = model(data) # 自动用 FP16
loss = criterion(output, target) # 注意：criterion 输入已是 FP16，但内部会升到 FP32 计算
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()
TensorFlow 的 mixed_precision.Policy 哪些层要手动切
TF 2.4+ 的 mixed_precision.Policy('mixed_float16') 会自动把大部分层切到 FP16，但 CNN 中有三类层必须手动干预，否则验证准确率掉点明显：
-
tf.keras.layers.BatchNormalization：默认用 FP16 计算均值/方差 → 数值不稳定 → 必须设dtype='float32' -
tf.keras.losses.SparseCategoricalCrossentropy：softmax 部分需 FP32 → 初始化时加from_logits=True, dtype='float32' - 输出层前的
Dense层：如果接的是Softmax，建议整层设为dtype='float32'，避免最后 logits 溢出 - 别信“全局 policy 就够了”——ResNet 的 shortcut add 操作在 FP16 下容易因舍入误差累积导致残差失效
为什么 VGG 和 MobileNet 对混合精度敏感度差很多
这不是框架问题，而是模型结构决定的数值行为差异：
- VGG 类模型堆叠大量 3×3 卷积 + ReLU，中间激活值分布窄、动态范围小，FP16 的指数位（5 bit）勉强够用，但梯度更新步长稍大就易下溢 → 必须开启
dynamic loss scaling - MobileNetV2 的 inverted residual + depthwise conv 会产生更稀疏、更分散的激活值，部分通道接近零，FP16 下直接变 0 → 这类模型建议用
bfloat16（如果硬件支持），它和 FP32 共享指数位宽度，抗下溢更强 - BN 层参数（gamma/beta）永远保持 FP32；但 VGG 的 BN 层数多（如 VGG16 有 13 个），其梯度更新若没用 FP32 主副本备份，几轮后就漂移
- 实测：在 Titan RTX 上，VGG16 启用 AMP 后 batch size 可从 64 提到 128，但学习率需从 0.01 降到 0.007；MobileNetV2 则可直接拉到 256，且学习率不变
真正容易被忽略的点是：混合精度不是“越早开越好”。CNN 训练初期（前 1–2 个 epoch）权重变化剧烈，此时开 AMP 容易因梯度噪声放大导致震荡；建议 warmup 2 个 epoch 后再启用，或者用渐进式策略——先开 autocast，等 loss 稳定后再加 GradScaler。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
