PyTorch训练loss为nan应优先检查输入数据、loss输入和backward前梯度；用assert、autograd异常检测、CrossEntropyLoss替代log(softmax)、梯度裁剪前置校验、覆盖参数/BN/AMP等关键位置。
PyTorch训练时loss变成nan，怎么快速定位源头
绝大多数nan损失不是模型结构问题，而是输入数据或中间计算溢出。先别急着改网络，按顺序检查三处：input张量、loss函数输入、backward()前的梯度状态。
实操建议：
- 在
forward()开头加assert not torch.isnan(x).any(), "input has nan"，尤其注意加载的label是否含非法值（如-100以外的ignore_index） - 用
torch.autograd.set_detect_anomaly(True)开启异常检测——它会在backward()时报出具体哪一行算出了nan梯度 - 避免在
loss前手动做log(softmax())，直接用nn.CrossEntropyLoss()（它内部做了数值稳定处理），否则softmax输出极小值取log会得-inf，再乘label就变nan
为什么torch.nn.utils.clip_grad_norm_()没拦住nan梯度
梯度裁剪只作用于backward()之后、optimizer.step()之前的梯度张量，而nan通常已在backward()过程中产生。裁剪不能修复已污染的梯度，只能防止爆炸梯度进一步恶化参数更新。
实操建议：
- 把裁剪放在
loss.backward()之后、optimizer.step()之前，但必须配合前置检查：if torch.isnan(loss): raise RuntimeError("loss is nan") -
max_norm设太小（如1e-3）会导致有效梯度被压成0，训练停滞；设太大（如1e5）等于没裁——推荐从1.0起步，观察grad_norm输出再调整 - 对RNN类模型，优先用
clip_grad_value_()而非clip_grad_norm_()，因norm对长序列敏感，value更稳定
检查NaN要覆盖哪些关键位置
只查loss标量远远不够。PyTorch中nan会像病毒一样传播：一个nan权重 → 一次前向→ 全层输出nan → 下次backward全梯度nan。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
实操建议：
- 每轮训练后加轻量检查：
if any(torch.isnan(p.grad).any() for p in model.parameters() if p.grad is not None): print("nan grad detected") - 对
BatchNorm层，确认running_var没崩掉——model.bn1.running_var.min().item()若≤0，说明统计量失效，需重置或关掉track_running_stats - 使用
torch.cuda.amp.GradScaler时，scaler.scale(loss).backward()可能掩盖nan，务必在scaler.step(optimizer)前加scaler.unscale_(optimizer)再检查梯度
输入数据含inf或nan的典型场景
最常被忽略的是预处理环节：归一化分母为0、log前没clamp、图像读取失败返回全0张量但没校验shape——这些都会让nan悄无声息进入训练流。
实操建议：
- 数据加载器
DataLoader的collate_fn里加assert not torch.isfinite(batch).all()，比在模型里检查更早拦截 - 对浮点标签（如回归任务），检查原始csv是否有空值或字符串
"inf"——pandas.read_csv(..., keep_default_na=False)可避免误转 - 用
torchvision.transforms.Normalize时，确认mean和std不含0值，否则某通道会除0得inf
事情说清了就结束。真正难的不是加几行检查代码，而是把nan当成信号——它总在提示某个环节的数据假设已经不成立了。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
