EMA本质是训练中对模型参数的加权滑动平均，用于提升验证/测试鲁棒性；其原理为ema_param = decay ema_param + (1-decay) current_param，需在optimizer.step()后、torch.no_grad()下更新，且须同步处理parameters与buffers。
PyTorch里EMA的实现原理和必要性
EMA（Exponential Moving Average）不是PyTorch内置模块，官方不提供 torch.nn.EMA 这种现成类。它本质是训练过程中对模型参数做加权滑动平均，目的是稳定训练、提升最终验证/测试指标——尤其在分类、检测等任务中常被用作“ema model”做推理时的权重来源。
关键点在于：EMA不参与反向传播，只在每次参数更新后（即 optimizer.step() 后）用当前模型参数去平滑更新EMA缓存。所以不能把它当普通 nn.Module 加进 model.parameters()，否则会意外参与梯度计算。
手动实现EMA的最小可靠写法
最轻量且可控的方式是自己维护一个 state_dict 缓存，并在每个 step 后调用更新逻辑。核心就是两行：ema_param = decay * ema_param + (1 - decay) * current_param。
常见错误包括：直接对 model.state_dict() 做原地修改（破坏梯度流）、忘记对 buffer（如BN的 running_mean）也做EMA、或在 eval() 模式下仍用训练时的EMA更新逻辑。
- 必须在
optimizer.step()之后、zero_grad()之前调用 EMA 更新 - 建议用
torch.no_grad()包裹整个EMA更新过程，避免任何意外梯度跟踪 - 对
requires_grad=False的参数（如冻结层），仍应参与EMA更新；对buffer也需同样处理（否则BN统计量不一致） -
decay通常设为 0.999 或 0.9999；太小会导致滞后严重，太大则平滑不足
class ModelEMA:
def __init__(self, model, decay=0.9999):
self.module = model
self.decay = decay
self.buffer = {}
# 初始化：拷贝当前参数和buffer，不带grad
for name, param in model.named_parameters():
self.buffer[name] = param.data.clone()
for name, buf in model.named_buffers():
self.buffer[name] = buf.data.clone()
<pre class="brush:php;toolbar:false;">@torch.no_grad()
def update(self):
for name, param in self.module.named_parameters():
self.buffer[name].mul_(self.decay).add_(param.data, alpha=1 - self.decay)
for name, buf in self.module.named_buffers():
self.buffer[name].mul_(self.decay).add_(buf.data, alpha=1 - self.decay)
def apply(self):
# 将EMA权重临时加载到model（用于eval/inference）
for name, param in self.module.named_parameters():
param.data.copy_(self.buffer[name])
for name, buf in self.module.named_buffers():
buf.data.copy_(self.buffer[name])
使用EMA做推理时的正确切换方式
很多人误以为训练完直接用 ema_model.eval() 就能推理，其实 PyTorch 没有独立的 “EMA model 实例”。你只有一个模型对象，EMA只是它的参数副本。所以推理前必须显式把EMA权重 copy_ 回原模型，再 eval() ——否则还是用原始最后一步的权重。
另一个坑是：在分布式训练（DDP）中，EMA必须只在 rank 0 上更新并广播，否则各卡维护不同缓存，同步失效。
- 训练循环末尾调用
ema.update()（注意顺序） - 验证/测试前先
ema.apply()，再model.eval()，完成后可选model.train()切回训练态 - 保存时建议同时存原始模型和EMA权重：比如
torch.save({'model': model.state_dict(), 'ema': ema.buffer}, path) - 加载EMA权重做推理时，别忘了先
model.load_state_dict(checkpoint['ema'])，而不是checkpoint['model']
第三方库如 timm 的EMA封装要注意什么
timm 提供了 ModelEma 和 ModelEmaV2，比手写更健壮（自动处理DDP、buffer、fp16等），但默认行为可能和直觉不符：比如 ModelEmaV2 默认只对 named_parameters() 做EMA，忽略 named_buffers()，而BN的 running_mean 属于buffer——这会导致EMA模型在推理时BN统计量仍是训练末尾的，而非EMA平滑后的。
如果你用 timm，务必确认是否启用了 use_buffers=True 参数：
from timm.models import ModelEmaV2 ema = ModelEmaV2(model, decay=0.9999, use_buffers=True) # ⚠️ 必须显式打开
另外，timm 的 ema.module 是个包装器，不能直接当模型传给 DataParallel；要取 ema.ema 才是内部模型对象。
EMA真正的复杂点不在代码长度，而在于时机控制和状态归属——它游离于优化器、模型、分布式逻辑之间，稍一错位，存的、用的、算的就全是不同版本的权重。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
