PyTorch中不存在torch.nn.functional.weighted_avg函数，加权平均损失必须手动实现为w1loss_a + w2loss_b；权重应为标量或requires_grad=False的tensor，多损失需统一反向传播，推荐归一化权重以保障训练稳定性。
PyTorch里怎么用torch.nn.functional.weighted_avg？
根本不存在这个函数——这是最常被搜错的点。PyTorch没有内置的weighted_avg损失聚合接口，所有“加权平均多个损失”的逻辑都得手动写，别指望调个函数就完事。
常见错误现象：AttributeError: module 'torch.nn.functional' has no attribute 'weighted_avg'；或者误把torch.mean当加权工具，结果权重没生效。
- 加权平均必须显式写出：比如
loss = w1 * loss_a + w2 * loss_b - 权重
w1、w2要是标量float或torch.tensor（且requires_grad=False，除非你真想反向传播权重） - 别用
torch.mean套多个loss再乘权重——它对batch维度求均值，不是对loss项加权
动态调整损失权重时，nn.Parameter和普通变量怎么选？
要看你是否希望权重参与梯度更新。动态≠自动学习，很多场景下只是按epoch或metric变化做规则调整，不需要可训练参数。
使用场景举例：多任务学习中，loss_seg和loss_cls权重随训练轮数衰减；或根据当前验证集iou值增大分割权重。
- 需要梯度更新（如GradNorm算法）：用
nn.Parameter(torch.tensor([0.5, 0.5], requires_grad=True))，加到model.parameters()或单独优化 - 仅按规则调度（更常见）：用普通Python变量或
torch.tensor（requires_grad=False），在train_step里重算，比如w_cls = 1.0 / (1 + epoch * 0.01) - 别把
nn.Parameter塞进torch.no_grad()块里——那它就真不更新了，但你还以为在动
loss_a.backward()和(w1*loss_a + w2*loss_b).backward()有啥区别？
前者只给loss_a的计算图反传梯度，后者才真正按加权后总loss更新全部参数。这是多损失场景下最容易漏掉的根本性错误。
性能影响：两次.backward()调用会累加梯度（grad +=），除非你主动optimizer.zero_grad()；而单次加权反传是干净的总梯度。
- 错误写法：
loss_a.backward(); loss_b.backward()→ 梯度叠加，权重失效，还可能爆炸 - 正确写法：
total_loss = w1 * loss_a + w2 * loss_b; total_loss.backward() - 如果要用分步（比如内存受限），必须手动缩放：
loss_a.backward(retain_graph=True); loss_b.backward()之后再自己param.grad *= w1——极不推荐，易出错
权重归一化有必要吗？w1 + w2 == 1是不是必须的？
不是必须，但强烈建议显式归一化，否则loss scale会随权重和漂移，影响学习率敏感性和收敛稳定性。
兼容性影响：不同框架（如TensorFlow/Keras）默认做归一化；PyTorch用户若不统一，迁移到其他平台或复现论文时容易对不上数值。
- 推荐做法：
weights = torch.softmax(torch.tensor([logit_a, logit_b]), dim=0)，用可学习logits+softmax自动归一 - 简单调度可用：
w1 = alpha / (alpha + beta); w2 = beta / (alpha + beta)，避免硬编码0.7 + 0.3 == 1.0这种魔法数字 - 不归一的坑：比如
w1=2.0, w2=3.0，总loss放大5倍，等效于lr变大5倍——你调的lr其实早就不适用了
权重动态性越强，越要小心scale漂移。哪怕只是按验证指标线性插值，也最好最后除一下和。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
