PyTorch自定义Loss必须继承torch.nn.Module，Keras则推荐纯函数；二者均需保持Tensor计算图完整，避免print、numpy等破坏梯度流的操作。
PyTorch里自定义Loss类必须继承torch.nn.Module，不是torch.nn.Loss
PyTorch没有抽象的torch.nn.Loss基类——这是常见误解。所有损失函数（包括nn.MSELoss、nn.CrossEntropyLoss）都直接继承torch.nn.Module，靠重写forward实现计算逻辑。
实操建议：
- 定义类时显式继承
torch.nn.Module，并在__init__中初始化超参（如权重、平滑系数），不要在forward里硬编码 -
forward接收pred和target张量，返回标量loss（注意调用.mean()或.sum()降维） - 避免在
forward中使用print、assert或非Tensor操作，否则会破坏梯度流 - 示例：Focal Loss核心片段
y_true
- 函数内直接用
tf操作（如tf.keras.losses.categorical_crossentropy），别混用numpy或原生Python数学 - 确保输入
y_true和y_pred维度对齐，尤其注意分类任务中y_true是否为one-hot - 若需状态（如动态权重），才考虑继承
tf.keras.losses.Loss并重写call方法 - 示例：带标签平滑的稀疏交叉熵
def smoothed_sparse_ce(y_true, y_pred, label_smoothing=0.1):
num_classes = tf.cast(tf.shape(y_pred)[-1], tf.float32)
y_true_onehot = tf.one_hot(tf.cast(y_true, tf.int32), depth=int(num_classes))
y_true_smooth = y_true_onehot * (1.0 - label_smoothing) + label_smoothing / num_classes
return tf.keras.losses.categorical_crossentropy(y_true_smooth, y_pred)
PyTorch自定义Loss中reduction参数必须手动支持
官方Loss（如nn.BCEWithLogitsLoss）通过reduction='mean'等控制输出形态，但你写的Loss默认不支持该参数——它不会自动出现在__init__里，也不会在forward中处理。
实操建议：
- 在
__init__中显式声明reduction参数，并保存为self.reduction - 在
forward末尾根据self.reduction做归约：'none'返回未降维张量，'sum'/'mean'对应调用.sum()/.mean() - 注意
'batchmean'需单独处理（对batch维度取均值，其余维度保持） - 不加这步会导致模型训练时
loss.backward()报错或结果异常
Keras损失函数里用tf.where替代Python条件分支
在Keras损失函数中写if y_true > 0.5:会报OperatorNotAllowedInGraphError——因为Eager模式下TF图构建失败。所有分支逻辑必须用tf原生操作表达。
实操建议：
- 用
tf.where(condition, x, y)代替三元表达式，用tf.cond处理复杂嵌套逻辑（但尽量避免） - 避免
len(tensor)、tensor.shape[0]等运行时不可知的操作；改用tf.shape(tensor)[0] - 调试时可在函数开头加
tf.debugging.assert_equal(tf.rank(y_true), tf.rank(y_pred))快速定位维度错位 - 特别注意：Keras在
model.compile()阶段就尝试追踪损失函数，此时y_true/y_pred是符号张量，无实际值
PyTorch的forward和Keras的损失函数都运行在自动微分上下文中，任何脱离Tensor计算图的操作（比如用numpy转换、print、for循环遍历batch）都会让梯度中断——这不是语法错误，而是静默失效。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
