pytorch中构建mlp需用nn.sequential串联nn.linear和nn.relu，注意输入展平、维度匹配及最后一层输出数等于分类数；loss.backward()前必须调用optimizer.zero_grad()以防梯度累积；打印loss须用.item()避免显存泄漏；训练前应检查数据是否含nan/inf，backward后可打印梯度范数定位问题。
PyTorch里怎么写一个带ReLU和线性层的MLP
直接用 nn.Sequential 最省事，但得清楚每层输入输出维度必须对得上，否则运行时报 RuntimeError: mat1 and mat2 shapes cannot be multiplied。常见错误是忘记把二维输入（比如 batch_size × 784）展平，或者在最后一层漏掉 nn.Linear 导致输出不是标量/类别数。
实操建议：
- 输入进网络前务必用
x = x.view(x.size(0), -1)或x.flatten(1)展平（图像类任务尤其容易忘） - ReLU 放在线性层之后、下一层线性层之前，别反了——
nn.ReLU()不改变 shape，但没它梯度可能全死掉 - 最后一层
nn.Linear的输出特征数必须等于分类数（比如 MNIST 是 10），别写成 1 或 100 硬编码
示例骨架：
model = nn.Sequential(
nn.Linear(784, 128),
nn.ReLU(),
nn.Linear(128, 64),
nn.ReLU(),
nn.Linear(64, 10)
)
为什么 loss.backward() 前要调 optimizer.zero_grad()
因为 PyTorch 默认累积梯度，不手动清零的话，第二次 backward() 会把新梯度加到旧梯度上，模型乱训——现象是 loss 不下降、权重爆炸、甚至 NaN。这不是 bug，是设计如此，但新手几乎必踩。
实操建议：
- 每次
optimizer.step()前必须有optimizer.zero_grad()，顺序不能换 - 如果用了
torch.no_grad()上下文（比如验证阶段），里面调backward()会报错RuntimeError: element 0 of tensors does not require grad，这和 zero_grad 无关，是另一回事 - 用
model.train()/model.eval()控制 dropout/batchnorm 行为，和梯度清零无关，但常被混为一谈
训练循环里 loss.item() 和 loss 到底该用哪个
loss 是带计算图的 Tensor，存着整个反向传播链；loss.item() 是 Python float，只取当前值。打印、存日志、画图必须用 .item()，否则显存越占越多，很快 OOM。
实操建议：
- 日志记录、
print()、写入tensorboard都用loss.item() - 别在循环里反复调
loss.detach().cpu().numpy()，.item()更轻量 - 如果 loss 是 vector（比如 per-sample loss），
.item()会报错，此时得先.mean()或.sum()
反向传播卡住或梯度为零的几个硬检查点
不是所有 NaN 都来自学习率太大。有些是数据本身带 inf 或 NaN，有些是激活函数输入超限（比如 torch.exp(1000)），还有些是自定义 loss 写错了求导路径。
实操建议：
- 训练前用
torch.isnan(data).any()和torch.isinf(data).any()扫一遍输入数据和 label - 在
backward()后立刻加print([p.grad.norm().item() for p in model.parameters() if p.grad is not None])，看是否全为零或爆炸 - 怀疑某层出问题时，临时插入
assert not torch.isnan(x).any()，定位到具体 tensor - 用
torch.autograd.set_detect_anomaly(True)开启异常检测（只在 debug 时开，性能损耗大）
复杂点在于：梯度问题往往跨多个环节——数据加载、预处理、模型结构、loss 设计、优化器配置，任何一个环节埋雷，都得逐层断点查，没法靠改一行代码解决。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
