BatchNorm在train()和eval()下行为完全不同：训练时用当前batch统计量并更新running_mean/var，推理时固定用running_*；model.eval()仅设training=False，不重置统计量；忘调eval()会导致单样本归一化、输出抖动或nan。
BatchNorm在train()和eval()下行为完全不同
PyTorch的BatchNorm2d（以及BatchNorm1d/BatchNorm3d）不是“自动识别当前阶段”的黑盒——它靠self.training标志决定用什么统计量。训练时用当前batch的均值和方差做归一化，并用它更新运行时统计量running_mean和running_var；测试时直接用已积累的running_*，完全忽略输入batch的统计特性。
model.eval()只改training标志，不重置统计量
调用model.eval()只是把模型所有模块的training属性设为False，包括BatchNorm和Dropout。它不会清空、重置或重新计算running_mean和running_var。这些统计量是持久的，从训练开始一路累积而来。
- 如果训练完没调用
model.eval()就直接推理，BatchNorm仍用batch统计量，结果剧烈抖动甚至nan - 如果中途多次切回
train()又切回eval()，running_*继续沿用，不会“倒带” - 加载预训练权重后，必须手动确认
model.eval()已调用，否则BatchNorm行为与原训练环境不一致
推理前忘调eval()的典型错误现象
最常见的是输出不稳定：同一张图跑多次，结果差异大；或者准确率远低于训练日志里report的val acc。debug时打印layer.running_mean会发现数值合理，但layer.training仍是True——这意味着它正在对单张图（batch_size=1）强行算均值，结果就是用单个像素值去归一化自己。
- 错误写法：
output = model(x); model.train()→ 推理用了train模式 - 正确顺序：先
model.eval()，再with torch.no_grad(): output = model(x) - 注意
torch.no_grad()不是用来切换BatchNorm模式的，它只关梯度，不影响training标志
fine-tuning时eval()和train()切换要格外小心
微调场景下，常需冻结部分层（如backbone），只训head，但BatchNorm仍在训练模式下更新统计量——这会导致running_*被污染，尤其当finetune数据分布和原训练集差异大时。
- 方案一：对冻结的BN层显式设
layer.eval()，让它停更running_*，只用原始统计量 - 方案二：用
torch.nn.SyncBatchNorm.convert_sync_batchnorm(model)前先确认各子模块状态，同步BN在多卡下对training更敏感 - 方案三：干脆替换为
GroupNorm或InstanceNorm2d，它们不依赖batch维度，规避模式切换问题
BatchNorm的模式切换看着简单，实际牵扯统计量生命周期、梯度上下文、多卡同步三个层面。最容易被忽略的是：哪怕你只推理一次，也得确保从模型创建后到forward前，training标志已经按需设好——它不会自己猜你要干嘛。
