梯度累积不能直接增大batch_size，因为optimizer.step()会清空梯度并更新参数；正确做法是分多次小batch backward，累计梯度后按周期调用step()和zero_grad()，且loss需除以累积步数。
梯度累积为什么不能直接改 batch_size
显存不够时，想用大 batch 训练但单次 forward/backward 会 OOM，很多人第一反应是调大 DataLoader 的 batch_size —— 这行不通。PyTorch 的 optimizer.step() 每调一次就清空梯度、更新参数；如果强行塞更大 batch，要么爆显存，要么梯度被覆盖，起不到“累积”效果。
真正要的是：分多次小 batch 做 backward，但只在第 N 次才 optimizer.step() 和 optimizer.zero_grad()。
- 每次
loss.backward()默认会累加到.grad上（前提是没清过梯度） -
optimizer.zero_grad()必须只在累积开始前或 step 后调用，中间不能清 - loss 要除以累积步数，否则梯度量级会随 step 数线性放大
torch.no_grad() 不参与梯度累积，别误用
写法上最容易错的是在累积循环里混进 torch.no_grad()，比如为了“省显存”对 validation 做 no_grad，结果顺手套到 train loop 里——这会让所有 backward() 失效，model.parameters()[0].grad 始终为 None。
梯度累积必须全程在梯度计算模式下进行：
- 确保
model.train()已调用 - 不要包裹任何训练步骤在
with torch.no_grad():内 - 只有评估、推理、EMA 更新等非训练逻辑才用
no_grad
典型错误现象：RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn，基本就是某处意外禁用了梯度。
手动控制 optimizer.step() 和 zero_grad() 的时机
核心就三件事：累 loss、累梯度、按周期更新。不需要额外库或钩子，纯靠 if 判断步数即可。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
假设目标等效 batch 是 64，当前 GPU 能跑 8：
accumulation_steps = 64 // 8 # = 8
for i, (x, y) in enumerate(dataloader):
pred = model(x)
loss = criterion(pred, y) / accumulation_steps # 关键：缩放 loss
loss.backward() # 梯度自动累加
<pre class="brush:python;toolbar:false;">if (i + 1) % accumulation_steps == 0:
optimizer.step() # 更新参数
optimizer.zero_grad() # 清空梯度，准备下一轮累积
-
loss / accumulation_steps必须做，否则梯度相当于放大了 8 倍 -
zero_grad()放在step()后，不是 before；否则刚算完就清了 - 注意
i + 1：因为 step 在 batch 结束后触发，不是开头 - 如果 dataloader 长度不能被整除，最后一组不足
accumulation_steps的 batch 也要step，否则漏更新
混合精度训练（torch.cuda.amp）下梯度累积要多一步
用 autocast + GradScaler 时，scaler.scale(loss).backward() 会把梯度乘上 scale 值再累加，所以 scaler.step(optimizer) 内部会自动处理 unscale，但前提是梯度确实被累积了。
容易漏的关键点：
- 必须用
scaler.unscale_(optimizer)手动 unscale 梯度，再做梯度裁剪（如torch.nn.utils.clip_grad_norm_），否则裁剪的是放大后的梯度 -
scaler.step()只应在累积完成时调用，且需传入 optimizer - 别忘了
scaler.update()，否则 scale 值不会自适应调整
常见错误现象：NaN loss 或训练不稳定，大概率是没 unscale 就裁剪，或 scaler.update() 被跳过。
梯度累积本身不改变模型行为，但它把“更新频率”和“数据吞吐节奏”解耦了；实际调试时，最容易被忽略的是 loss 缩放和 zero_grad 位置——这两处一错，整个累积就失效，还很难一眼看出问题。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
