Python如何使用PyTorch的AdamW优化器_结合CosineAnnealingLR实现学习率预热-Python教程-PHP中文网

cosineannealinglr无法原生支持warmup，因其公式中t从0开始导致lr必须等于lr_max，否则余弦曲线偏移失真；正确做法是用lambdalr自定义分段函数：前t_warmup步线性增长，之后标准余弦退火。

python如何使用pytorch的adamw优化器_结合cosineannealinglr实现学习率预热

不能直接用 CosineAnnealingLR 做预热——它本身不支持 warmup 阶段，强行在训练开始前插入线性增长会破坏其周期性数学结构。

为什么 `CosineAnnealingLR` 无法原生支持 warmup

它的公式是 lr = lr_min + 0.5*(lr_max-lr_min)*(1 + cos(tπ/T_max))，其中 t 从 0 开始计数，T_max 是总周期长度。一旦你让 t=0 时 lr 不等于 lr_max，整个余弦曲线就偏移失真，后续下降节奏全乱。很多初学者试图在初始化后手动改 last_epoch 或 patch get_lr()，结果模型 loss 在第 3–5 个 epoch 就 NaN。

正确做法：用 `LambdaLR` 手写 warmup + cosine 组合逻辑

这是目前最干净、可控、无副作用的方案。核心思路是把学习率函数拆成两段：

前 T_warmup 个 step：线性从 lr_min 涨到 lr_max
之后：切换为标准余弦退火，从 lr_max 平滑降到 lr_min

示例代码（适配 AdamW）：

python-script-generator

快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。

下载

from torch.optim import AdamW
from torch.optim.lr_scheduler import LambdaLR
<p>optimizer = AdamW(model.parameters(), lr=1e-4, weight_decay=0.01)
T_warmup = 500  # warmup 步数，通常取总步数的 5%–10%
T_total = 10000</p><p>def warmup_cosine_lr(step):
if step  (1.0 + math.cos(math.pi  progress)))</p><p>scheduler = LambdaLR(optimizer, lr_lambda=warmup_cosine_lr)</p>

搭配 `AdamW` 时必须注意的三个参数细节

AdamW 对学习率变化更敏感，尤其在 warmup 初期，容易因梯度矩估计未稳定而震荡：

weight_decay 要显式设为非零值（如 0.01），避免和 L2 正则混淆；Adam 默认不分离权重衰减，AdamW 才真正解耦
初始 lr 建议设为 1e-4～5e-4，比纯 Adam 略低，防止 warmup 阶段更新幅度过大
如果用 torch.compile 或 AMP，确保 scheduler.step() 在 optimizer.step() 之后调用，否则 lr_lambda 可能被缓存导致 step 错位

容易被忽略的调试信号

训练初期 loss 不降或剧烈抖动，别急着调模型结构——先检查 scheduler 是否真的生效：

打印前 10 步的 optimizer.param_groups[0]['lr']，确认第 1 步是否接近 lr_max / T_warmup
用 plt.plot([scheduler.get_last_lr()[0] for _ in range(T_total)]) 快速画出实际学习率曲线，看是否有意外平台或跳变
若使用多卡 DDP，LambdaLR 无需额外同步——它只依赖本地 step 计数，但需确保所有进程的 step 是严格对齐的（即每个 optimizer.step() 后都调 scheduler.step()）