pytorch lightning的核心是结构强制对齐:lightningmodule必须实现forward、training_step、validation_step和configure_optimizers四个方法,缺一即抛notimplementederror;lightningdatamodule需在setup中延迟初始化数据集以避免多进程错误;accelerator="auto"不支持rocm/tpu,须显式指定;日志与检查点路径须显式命名以防覆盖,且随机种子需在setup中重置以保证可复现性。

PyTorch Lightning 不是用来“省几行代码”的工具,而是帮你把训练逻辑从模型定义里彻底剥离开——一旦结构没对齐,后续所有优化(多卡、混合精度、早停)都会卡在 training_step 或 configure_optimizers 里报错。
LightningModule 必须覆盖的四个方法
不是“建议实现”,而是 Trainer 启动时强制调用的入口。缺任何一个,trainer.fit() 直接抛 NotImplementedError。
-
forward():只做纯推理,不带 loss、不调self.log(),否则在predict()或导出 ONNX 时会出错 -
training_step():必须返回标量loss(不能是字典或 tuple),否则分布式训练中梯度同步失败 -
validation_step():即使不做验证也要写空实现,否则val_dataloader被忽略 -
configure_optimizers():返回 optimizer,或{"optimizer": opt, "lr_scheduler": sch}字典;返回 list 会禁用学习率调度
LightningDataModule 的 setup() 为什么总被漏掉?
很多人直接在 __init__() 里加载数据,结果在多进程 dataloader(num_workers > 0)下触发 pickle 错误或重复下载。正确做法是把数据集实例化推迟到 setup(stage) 中:
-
stage="fit"时初始化self.train_dataset和self.val_dataset -
stage="test"时初始化self.test_dataset -
self.setup()不要手动调,Trainer 会在 fit/test 前自动触发
常见错误:setup() 里用了全局变量或未序列化的对象(如数据库连接),导致 DataLoader fork 子进程时报 AttributeError。
Trainer 初始化时 accelerator="auto" 的实际行为
它不是“智能选择”,而是按固定优先级 fallback:
- 先查
torch.cuda.is_available()→ 用"cuda" - 再查
torch.backends.mps.is_available()(仅 macOS)→ 用"mps" - 最后退到
"cpu"
问题在于:AMD GPU(ROCm)不会被识别为 "cuda",但 accelerator="auto" 也不会选 "rocm" —— 必须显式写 accelerator="rocm",否则强行走 CPU。同理,TPU 需要 accelerator="tpu" 并配 devices=8,不能靠 auto 推断。
日志和检查点路径不显式指定就容易丢实验
Trainer 默认把 checkpoint 存到 lightning_logs/version_0/checkpoints/,TensorBoard 日志也扔这儿。但这个路径不包含实验名或超参信息,跑十次实验全挤在一个 version_0 下,根本分不清哪次对应哪个 lr=1e-4。
- 加
logger=pl.loggers.TensorBoardLogger("logs", name="my_exp"),name 会生成独立子目录 - 加
callbacks=[pl.callbacks.ModelCheckpoint(dirpath="checkpoints/my_exp_v1")],避免覆盖 - 不设
default_root_dir,checkpoint 可能被写到临时目录,重启后消失
最常被忽略的一点:Trainer 不保存随机种子状态。哪怕你用了 seed_everything(42),恢复 checkpoint 后继续训练,train_dataloader 的 shuffle 顺序仍会错乱——必须在 LightningDataModule 的 setup() 里重置 torch.manual_seed() 或用 generator 参数传给 DataLoader。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











