如何在Python中使用PyTorch实现Focal Loss缓解难易样本失衡？-Python教程-PHP中文网

Focal Loss不能直接用PyTorch内置损失替代，因其需动态降低易分类样本权重（(1−pₜ)ᵞ），而nn.CrossEntropyLoss和nn.BCEWithLogitsLoss均为静态均匀加权，无法实现难例聚焦。

如何在python中使用pytorch实现focal loss缓解难易样本失衡？

Focal Loss 在 PyTorch 中不能直接调用现成函数，必须手动实现；否则默认的 nn.CrossEntropyLoss 会忽略难例挖掘能力，根本起不到缓解类别/难易样本失衡的作用。

为什么不能直接用 `nn.BCEWithLogitsLoss` 或 `nn.CrossEntropyLoss` 替代 Focal Loss

这两个内置损失函数本质是均匀加权的：每个样本对梯度的贡献基本一致。而 Focal Loss 的核心是动态降低易分类样本的权重（通过 (1 - p_t)^γ），让模型聚焦于难例。直接套用会导致训练时仍被大量简单负样本主导，尤其在目标检测、医学图像分割等正负极度不均衡场景下完全失效。

nn.CrossEntropyLoss 没有可调节的聚焦系数 γ 和平衡参数 α
nn.BCEWithLogitsLoss 虽支持 weight，但仍是静态权重，无法随预测置信度 p_t 动态衰减
PyTorch 官方至今未将 Focal Loss 纳入 torch.nn 模块

如何正确实现多分类 Focal Loss（含 `α`-balance 和 `γ` 聚焦）

关键在于：先算出每个样本的 softmax 概率（或 sigmoid logits），再按类别索引取出对应类别的预测置信度 p_t，最后套用公式 -(α * (1 - p_t)^γ * log(p_t))。注意避免 log(0) 和梯度不稳定问题。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

import torch
import torch.nn as nn
import torch.nn.functional as F
<p>class FocalLoss(nn.Module):
def <strong>init</strong>(self, alpha=1, gamma=2, reduction='mean'):
super().<strong>init</strong>()
self.alpha = alpha
self.gamma = gamma
self.reduction = reduction</p><pre class="brush:python;toolbar:false;">def forward(self, inputs, targets):
    # inputs: [N, C], targets: [N]
    log_pt = F.log_softmax(inputs, dim=1)
    pt = torch.exp(log_pt)
    # 取出每个样本对应真实类别的概率
    log_pt = log_pt.gather(1, targets.unsqueeze(1)).squeeze(1)
    pt = pt.gather(1, targets.unsqueeze(1)).squeeze(1)
    # Focal weight
    focal_weight = (1 - pt) ** self.gamma
    # 加权交叉熵
    loss = -self.alpha * focal_weight * log_pt

    if self.reduction == 'mean':
        return loss.mean()
    elif self.reduction == 'sum':
        return loss.sum()
    else:
        return loss

输入 inputs 必须是 raw logits（未经过 softmax），否则梯度会异常
targets 必须是 long 类型的一维张量，不能是 one-hot
alpha 建议设为类别频率的倒数（如二分类中正样本占比 5%，则 alpha=20），或用 torch.bincount 动态计算
gamma=2 是原论文推荐值，gamma=0 退化为标准交叉熵

二分类场景下用 `sigmoid` + `BCEWithLogitsLoss` 变体更稳定

多分类 Focal Loss 对 softmax 梯度较敏感，尤其在类别数多、样本少时易震荡。二分类任务建议改用基于 sigmoid 的实现，它数值更稳定，也方便和 nn.BCEWithLogitsLoss 复用底层优化。

class BinaryFocalLoss(nn.Module):
    def __init__(self, alpha=1, gamma=2, reduction='mean'):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma
        self.reduction = reduction
<pre class="brush:python;toolbar:false;">def forward(self, inputs, targets):
    # inputs: [N], targets: [N], both float
    bce_loss = F.binary_cross_entropy_with_logits(
        inputs, targets, reduction='none'
    )
    pt = torch.sigmoid(inputs)
    pt = torch.where(targets == 1, pt, 1 - pt)
    focal_weight = (1 - pt) ** self.gamma
    loss = self.alpha * focal_weight * bce_loss

    if self.reduction == 'mean':
        return loss.mean()
    elif self.reduction == 'sum':
        return loss.sum()
    else:
        return loss