不能直接相加CrossEntropyLoss与MSELoss等多任务损失，因量级差异大（如分类loss约0.5–3、回归loss可达100+），导致梯度被大loss任务垄断；PyTorch无自动归一化机制，必须显式引入可学习权重（如nn.Parameter+torch.exp）或batch级归一化，避免固定系数失效。
多任务损失加权为什么不能直接用 torch.nn.CrossEntropyLoss 求和？
因为不同任务的损失量级差异大（比如分类 loss 常在 0.5–3，回归 loss 可能是 100+），直接相加会导致梯度主导权被某一个任务垄断。PyTorch 默认不提供「自动归一化」或「任务感知权重」机制，torch.nn.CrossEntropyLoss 和 torch.nn.MSELoss 各自独立计算，求和后反向传播时，loss 值大的任务会贡献更大的梯度模长，模型实际只在优化那个任务。
实操建议：
- 必须显式引入可学习权重或手动缩放系数，不能依赖 loss 值“自然平衡”
- 避免用固定常数（如
0.5 * loss_cls + 0.5 * loss_reg），除非你已验证过两个 loss 在训练初期数量级接近 - 推荐优先尝试
torch.nn.Parameter定义可学习权重，配合torch.exp()防止负值
如何定义可学习的多任务损失权重？
核心是把权重变成模型参数，让优化器一起更新。常见做法是为每个任务维护一个标量 log_weight，再用 torch.exp(log_weight) 得到正权重——这样既保证正值，又让梯度更平滑（相比直接约束 weight > 0）。
示例代码片段：
class MultiTaskLoss(torch.nn.Module):
def __init__(self, num_tasks=2):
super().__init__()
self.log_weights = torch.nn.Parameter(torch.zeros(num_tasks))
<pre class="brush:python;toolbar:false;">def forward(self, losses):
# losses: list of scalar tensors, e.g., [loss_cls, loss_reg]
weighted_losses = [torch.exp(-w) * l for w, l in zip(self.log_weights, losses)]
return sum(weighted_losses) + sum(self.log_weights) # + 正则项防止权重无限增大
注意：sum(self.log_weights) 是常用 trick，等价于对权重施加 soft L1 正则，抑制某个 log_weight 过大导致对应任务被忽略。
torch.autograd.grad 能否用于分离多任务梯度？
可以，但通常没必要。有人想分别计算 loss_cls 和 loss_reg 对同一组参数的梯度，再做加权合成，但这会显著拖慢训练（两次 backward 或多次 grad 调用），且 PyTorch 的 autograd 已支持复合 loss 的符号微分，只要 loss 是标量、所有路径可导，一次 loss.backward() 就足够。
容易踩的坑：
- 误用
retain_graph=True多次 backward 导致显存暴涨 - 手动拆梯度后用
param.grad = alpha * g1 + beta * g2，绕过了 PyTorch 的梯度累加逻辑，可能破坏torch.optim中的动量、Adam bias correction 等行为 - 若真需梯度隔离（例如梯度裁剪按任务分别处理），应使用
torch.no_grad()+torch.autograd.grad(..., create_graph=True)，但这是高级场景，95% 的多任务训练不需要
验证权重是否真的在起作用？
训练中打印 torch.exp(model.loss_module.log_weights).detach()，观察两个权重是否随 epoch 变化。如果始终接近 1 或者一个趋近 0、另一个爆炸增长，说明 loss 设计或初始化有问题。
关键检查点：
- 初始
log_weights设为 0（即权重初始为 1），不是随机值，避免开局失衡 - 确保每个 task loss 都是 scalar（shape
torch.Size([])），否则torch.exp(-w) * l会广播出错 - 如果某个任务 loss 长期为 NaN，它会污染整个加权 loss，导致所有权重梯度异常；应单独测试每个 task 的前向/loss 计算是否稳定
多任务权重不是“设了就完事”的超参，它本身是模型的一部分，需要和主干网络一样关注数值稳定性与收敛行为。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
