小batch导致bn层统计失真：训练时batch均值/方差偏离真实分布，running_mean/var更新不稳定，eval性能跳变；推荐改用groupnorm、调大momentum或关闭track_running_stats。
BN层依赖batch统计量，小batch导致估计失真
PyTorch 的 nn.BatchNorm2d（或 BatchNorm1d）在训练时默认用当前 mini-batch 的均值 mean 和方差 var 做标准化。当 batch_size 小于 8（尤其 ≤ 2）时，这些统计量严重偏离真实分布——比如单张图算出的均值几乎就是这张图自身的像素均值，毫无代表性。模型反而被误导，梯度更新方向混乱，loss 震荡、收敛变慢甚至发散。
running_mean / running_var 在小batch下更新不稳定
BN 层维护两个缓冲区：running_mean 和 running_var，用于推理时替代 batch 统计量。它们按公式 new = momentum * current + (1 - momentum) * batch_stat 指数滑动更新。问题在于：
- 小 batch 的
batch_stat噪声极大，每次更新都带入强扰动 - 默认
momentum=0.1太小，无法有效平滑噪声（实际等效衰减过快） - 若训练 early stage 就遇到异常 batch（如全黑图），
running_var可能塌缩到接近 0，后续除零风险上升
eval() 模式下性能跳变，不是 bug 是设计使然
训练时用 batch 统计量，eval() 时切到 running_mean/var。但若训练阶段因小 batch 导致 running_* 严重偏移，推理结果就会明显劣化——你看到的“eval 更差”，本质是训练没学好统计量，不是 dropout 或 BN 切换逻辑出错。
常见现象包括：
- 训练 loss 下降，val acc 却卡在低位甚至下降
- 同一个模型，
train()和eval()输出差异巨大 - 手动 freeze BN 参数后 val 性能反而提升
小 batch 场景下更推荐的替代方案
不硬扛原生 BN，优先考虑以下实操路径：
- 改用
nn.GroupNorm：对 channel 分组归一化，完全不依赖 batch 维度，batch_size=1也能稳定工作 - 启用
track_running_stats=False：关闭running_*更新，只用当前 batch 归一化（适合纯 online 推理场景） - 调大
momentum至 0.99 或 0.999：让running_*更慢地吸收 batch 噪声（注意：不能设为 1.0，否则冻结不动） - 避免
nn.SyncBatchNorm：多卡同步 BN 在小 global batch 下会放大统计偏差，单卡训练更可控
真正难的不是选哪个方案，而是确认你的数据 pipeline 确实只喂了极小 batch——有时候你以为 batch_size=2，实际因 drop_last=False + 数据集长度非整除，最后 batch 只有 1 个样本，这种隐性小 batch 更容易被忽略。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
