不是必须但强烈建议继承nn.module；纯函数无法自动构建计算图，而nn.module的forward中torch操作天然可导，反向传播自动连通，且需确保输入为tensor、不破坏图、返回标量。
PyTorch里写自定义损失函数，必须继承nn.Module吗？
不是必须，但强烈建议。直接写一个纯函数（比如def my_loss(pred, target):）也能跑通，但它无法自动参与torch.autograd的图构建——除非你手动用torch.autograd.Function重写前向/反向逻辑。而继承nn.Module后，你只需专注前向计算，forward里所有torch操作天然可导，反向传播自动连通。
常见错误现象：RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn，往往就是用了普通函数+没把输入设为requires_grad=True，或者中间用了.detach()/.numpy()等断图操作。
- 所有输入
pred和target必须是torch.Tensor，且pred需带梯度（训练时通常满足） - 避免在
forward里调用.item()、.cpu().numpy()、print()这类破坏计算图的操作 - 如果要用条件分支（如分段损失），优先用
torch.where()而非if语句
继承nn.Module写损失函数，forward参数怎么设计？
标准做法是只接收pred和target两个张量，其他超参（如权重、平滑系数）应在__init__里初始化，不随每次调用传入。这样既符合nn.Module惯用法，也方便后续封装进model.train()/model.eval()流程中。
使用场景：比如实现带标签平滑的交叉熵，self.smooth_eps在__init__定死，forward只管算值；若把smooth_eps塞进forward，就容易和torch.compile或DataParallel产生兼容问题。
-
forward(self, pred: torch.Tensor, target: torch.Tensor) → torch.Tensor是唯一推荐签名 - 不要在
forward里做target = target.long()这类隐式类型转换——出错时很难定位是数据问题还是损失本身问题 - 返回值必须是标量
torch.Tensor（shape为torch.Size([])），不能是list或dict
为什么我的自定义损失函数训练时loss不下降，甚至Nan？
大概率是数值不稳定。自定义损失不像nn.CrossEntropyLoss那样内置了log-sum-exp稳定化，或像nn.BCEWithLogitsLoss那样把sigmoid和bce合并计算。手写时稍不注意就会溢出。
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
典型错误现象：loss一开始是inf或nan，或训练几轮后突变为nan；pred输出含极大正值/负值（如>100或）时，<code>torch.exp()直接爆炸。
- 用
torch.log_softmax(pred, dim=-1)代替torch.log(torch.softmax(pred, dim=-1)) - 计算
log(1 - p)时，先用torch.clamp(1 - p, min=1e-7)防下溢 - 对回归任务，别直接写
(pred - target) ** 2，改用torch.nn.functional.mse_loss(pred, target, reduction='mean')更稳（它内部做了梯度裁剪友好处理）
自定义损失函数能用torch.compile加速吗？
能，但有前提：整个forward必须是纯torch函数式操作，不能含Python控制流（for/if）、print、assert，也不能调用非torch库（如math.sqrt）。否则torch.compile会fallback到解释执行，甚至报TorchDynamoBackendError。
性能影响明显：简单损失（如加权MSE）编译后快15%~30%；但含torch.where嵌套过深或torch.scatter的损失，可能因图优化失败反而变慢。
- 检查是否触发编译：在
loss = compiled_loss(pred, target)后加print(loss.device)，若输出meta设备说明未生效 - 用
torch._dynamo.explain(loss_fn)(pred, target)看具体哪行被拒绝编译 - 调试阶段先关掉
torch.compile，确认逻辑正确后再开——它会掩盖部分数值错误
最常被忽略的一点：自定义损失里的self属性（比如缓存的self.register_buffer('weight', ...)）必须在__init__里注册，不能在forward里动态创建，否则compile会认为状态不可追踪。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
