wgan-gp训练更稳因其采用wasserstein距离并引入梯度惩罚，强制判别器满足lipschitz约束，避免js散度导致的梯度消失/爆炸；梯度惩罚需在真实、生成及随机插值样本上计算，且必须启用create_graph=true以支持二阶导。
为什么WGAN-GP比原始GAN训练更稳
原始GAN用JS散度做目标函数，容易导致梯度消失或爆炸，尤其在判别器过强时生成器几乎收不到有效梯度。wasserstein_loss本身对分布距离更敏感，配合梯度惩罚（gradient_penalty）能强制判别器满足Lipschitz约束，避免权重裁剪带来的优化瓶颈。
关键不是“换损失函数”，而是让判别器的输出变化率可控——这直接决定生成器梯度的质量。
- 梯度惩罚项必须加在真实样本、生成样本、以及它们之间随机插值得到的样本上
-
lambda_gp = 10.0是常用起点，但数据尺度大时（如[0, 255]图像）可能需调至100.0才能让梯度范数稳定接近1 - 别在
torch.no_grad()里算插值样本的梯度——否则autograd.grad拿不到计算图
如何正确实现梯度惩罚（WGAN-GP核心代码）
很多实现错误地只对判别器输入求导，或漏掉插值权重的随机性。正确做法是：先混合真实和假样本，再统一送入判别器，最后对这个混合输入反向求导。
alpha = torch.rand(real_imgs.size(0), 1, 1, 1, device=device)
interpolates = (alpha * real_imgs + (1 - alpha) * fake_imgs).requires_grad_(True)
d_interpolates = netD(interpolates)
gradients = torch.autograd.grad(
outputs=d_interpolates,
inputs=interpolates,
grad_outputs=torch.ones(d_interpolates.size(), device=device),
create_graph=True,
retain_graph=True,
only_inputs=True
)[0]
gradient_penalty = ((gradients.norm(2, dim=1) - 1) ** 2).mean()
-
grad_outputs必须与d_interpolates同shape且全为1，否则梯度方向错乱 -
create_graph=True不可省——这是为了支持二阶导（WGAN-GP理论要求） - 如果用
nn.DataParallel，确保interpolates和grad_outputs都在同一设备，否则autograd.grad报RuntimeError: expected all tensors to be on the same device
归一化层怎么选：BatchNorm vs LayerNorm vs InstanceNorm
在GAN生成器中，BatchNorm2d最常用，但它依赖batch size；小batch（如≤16）下统计量不准，易引发模式坍塌。判别器中反而建议禁用BN，改用InstanceNorm2d或LayerNorm，避免把不同样本间的特征关联强行拉平。
- 生成器用
BatchNorm2d时，batch size 至少16；若只能跑8，换成SyncBatchNorm（多卡）或直接切到InstanceNorm2d并加affine=True - 判别器中出现
BatchNorm2d大概率导致训练抖动，尤其在高分辨率阶段——它会削弱样本间差异，让判别器更容易“记混”真假 -
LayerNorm对序列类GAN（如Text-to-Image）更友好，但图像patch尺寸变动时需手动调整normalized_shape参数
训练不稳时优先检查的三个硬指标
别急着调学习率或换网络结构。先盯住这三个数字，它们比loss曲线更能暴露问题：
-
gradient_penalty值是否稳定在0.1 ~ 2.0之间？持续>5.0说明惩罚太弱，说明过强或插值失效 - 判别器对真实样本的输出（
real_logits.mean().item()）是否缓慢下降？若长期>2且不降，说明判别器已饱和，生成器梯度趋近于零 - 生成器的梯度范数（
torch.nn.utils.clip_grad_norm_(netG.parameters(), max_norm=1.0)后返回值）是否频繁≈0？这是梯度消失的直接证据，大概率出在BN或激活函数（比如用了nn.Sigmoid在最后一层）
这些数值不对，调再久的lr也没用。GAN的“不稳”往往不是随机波动，而是某个环节持续偏离设计假设。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
