loss一直不变的首要原因是未调用optimizer.zero_grad()，导致梯度累加、参数更新错乱；其次可能是学习率设为0或过小、lr_scheduler调用时机错误、前向输出无效（如输入全零、标签单一、损失函数误用）等。
loss 一直不变，先查 optimizer.zero_grad() 是否漏掉
训练循环里没调用 optimizer.zero_grad() 是导致 loss 完全不下降的最常见硬伤。梯度会持续累加，参数更新方向错乱，loss 表面“卡住”，实则是优化器在胡走。
典型错误写法：
for images, labels in train_loader:
outputs = model(images)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step() # ❌ 没有 zero_grad()
后果：第2个 batch 的梯度叠加在第1个 batch 之后，权重更新量爆炸或抵消，loss 曲线平直甚至突跳。
检查建议：
- 在训练循环开头加一句
print("grad norm:", torch.norm(torch.cat([p.grad.view(-1) for p in model.parameters() if p.grad is not None])))，如果数值越来越大或出现nan，基本就是没清梯度 - 确保
zero_grad()在loss.backward()之前、且每次 iteration 都执行（不能只在 epoch 开头调一次）
学习率设成 0.0 或过小，loss 也会“假装下降”
学习率是标量，但容易被误设为 0 或极小值（比如写成 lr=1e-10），此时权重几乎不动，loss 看似稳定，实则冻结。
常见陷阱：
- 从 config 文件读取 lr 时类型错误：
lr = float(config.get("lr", "0"))→ 如果配置项是空字符串或"null"，结果可能是0.0 - 使用
Adam时误设betas=(0, 0)，导致一阶矩估计失效，等效于 lr 归零 - 在混合精度训练（
amp）中，loss scaler 失效未报错，实际梯度被缩放为 0
快速验证方法：临时把 lr 改成 0.1（分类任务常用起点），跑 2–3 个 batch，看 loss 是否明显下降。若仍不变，问题不在 lr 本身，而是更底层的链路（如数据全零、标签全一样）。
lr_scheduler.step() 调用时机错误，让学习率提前归零
很多同学把 scheduler.step() 放在 train() 函数外、epoch 循环末尾，这本身没问题；但如果误放在 loss.backward() 之后、optimizer.step() 之前，就可能让当前 batch 使用已衰减的学习率，尤其对 StepLR 或 ReduceLROnPlateau 这类调度器影响显著。
更隐蔽的问题是：ReduceLROnPlateau 必须传入 valid loss 才能判断是否 plateau，如果传了 train loss 或根本没传，它会在第 1 个 epoch 就把 lr 降到 min_lr，后续全靠“残血”训练。
正确模式：
for epoch in range(epochs):
train_loss = train_one_epoch(model, loader, optimizer, criterion)
val_loss = validate(model, val_loader, criterion)
scheduler.step(val_loss) # ✅ 传 valid loss，且在 epoch 后
注意：CosineAnnealingLR 和 OneCycleLR 是按 step 调度的，必须在每个 batch 后调用 scheduler.step()，和 StepLR 的行为完全不同——混用会直接废掉学习率策略。
loss 不下降 ≠ 模型没学，先确认前向输出是否有效
有时候 loss 值不变，但原因根本不在优化过程，而在前向传播阶段：输入全零、模型输出恒定、标签全一样、损失函数选错（比如用 MSELoss 做分类），都会让 loss 计算结果固定。
排查顺序建议：
- 打印一个 batch 的
labels：运行print(labels.unique())，看是否只有一种类别 - 检查模型输出：运行
print(outputs.softmax(dim=1)[0])，看概率分布是否接近均匀（如全是 ~0.1 for 10-class）→ 可能模型没激活或初始化崩了 - 手动计算 loss：取一个 batch，用 numpy 算一遍
criterion的数学定义，对比 PyTorch 输出是否一致
真正棘手的是那些“看似下降实则无效”的情况：比如 loss 从 2.3026（log(10)）缓慢降到 2.3025，本质是模型在随机猜，只是浮点误差抖动。这时候看 accuracy 或 confusion matrix 比看 loss 数值更可靠。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
