加L2正则化仍过拟合，因其仅在优化器中生效且需合理设置weight_decay值（推荐1e-4～5e-4），并注意参数分组；数据增强须匹配测试场景、避免泄漏；验证集不准常因分布不一致、未调model.eval()或验证时误用随机增强。
为什么加了 L2 正则化 weight_decay 还过拟合？
不是加了 weight_decay 就自动防过拟合——它只在优化器中生效，且必须配合合适的数值。常见错误是：用 nn.CrossEntropyLoss() 时误以为损失函数里含 L2，其实它不含；或把 weight_decay=1e-2 设得太大，导致训练困难、收敛慢，反而让模型学不到有效特征。
-
weight_decay必须传给torch.optim.Adam或torch.optim.SGD，不能只写在模型定义里 - 典型安全起始值是
1e-4～5e-4；图像任务中超过1e-3往往有害 - 注意：PyTorch 的
weight_decay对 bias 和 BatchNorm 参数默认也生效，如需排除（推荐），要用参数分组
optimizer = torch.optim.Adam([
{'params': model.backbone.parameters(), 'weight_decay': 1e-4},
{'params': model.classifier.parameters(), 'weight_decay': 0} # 分类头可不正则
], lr=1e-3)
数据增强怎么加才不引入泄漏或失真？
增强不是越多越好，关键要匹配测试场景。比如训练加了随机旋转 ±90°，但测试图全是正立文字，模型就学歪了；又或者对医学图像用 ColorJitter 导致灰度分布失真，反而破坏判别信号。
- 分类任务推荐组合：
RandomHorizontalFlip（对称物体可用）、RandomResizedCrop（强制模型关注局部特征）、AutoAugment或RandAugment（比手工链更鲁棒） - 避免在验证/测试
Dataset中使用任何随机变换，哪怕ToTensor之外的都不要 - 增强后务必可视化几张样本，确认标签没错位（尤其带 bounding box 或分割 mask 时）
train_transform = transforms.Compose([
transforms.RandomResizedCrop(224, scale=(0.8, 1.0)),
transforms.RandomHorizontalFlip(),
transforms.RandAugment(num_ops=2, magnitude=9),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
验证集准确率上不去？先检查这三个地方
训练集准、测试集差，但验证集表现才是调参依据。如果验证集也卡住不上升，大概率不是过拟合，而是 pipeline 本身有问题。
- 确认验证集和测试集来自同一分布：比如你用 ImageNet 训练，验证集是 val，测试集却用了自己爬的图，那差距再大也不说明过拟合
- 检查
model.eval()是否漏调——尤其用了 Dropout/BatchNorm 时，训练模式下 BN 用 batch 统计，eval 模式才用 running_mean/var - 验证时是否误用了训练时的 augment？例如
val_loader的Dataset用了RandomCrop，会导致每次取图结果不同，指标抖动极大
WeightDecay + 数据增强还不够？试试 EarlyStopping + 学习率预热
单纯加正则和增强，有时只是把过拟合点往后推，而不是消除。真正稳定提升泛化，需要配合训练策略。
- EarlyStopping 要监控验证损失（
val_loss），而非验证准确率（val_acc），因为 acc 在后期易平台，loss 更敏感 - 学习率预热（warmup）能缓解大 batch 或大模型初期梯度不稳定，避免早期就记住噪声；用
torch.optim.lr_scheduler.LinearLR最简 - 记得保存的是最佳验证模型（
torch.save(model.state_dict(), ...)），不是最后一轮的
scheduler = torch.optim.lr_scheduler.SequentialLR(
optimizer,
schedulers=[
torch.optim.lr_scheduler.LinearLR(optimizer, start_factor=0.01, total_iters=500),
torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=total_epochs-500)
],
milestones=[500]
)
实际调的时候，weight_decay 和增强强度得一起试——增强强了，正则可以稍降；反之亦然。最容易被忽略的是验证逻辑本身是否干净，很多“过拟合”其实是验证流程污染造成的。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
