pytorch 2.0 中 torch.compile() 不能无缝替代 torch.jit.script()/trace()，须修改 jit 调用方式、并行策略（弃 dataparallel 改 ddp）、重审 cudnn 配置（禁用会严重降速），且自定义 c++/cuda 扩展需重编译。
不能“无缝平替”，必须做三类明确修改：替换 JIT 调用方式、改写并行策略、重审 cuDNN 配置。PyTorch 2.0 的 torch.compile() 不是语法糖，它和 torch.jit.script() 的语义、输出形态、部署能力完全不同。
torch.compile() 不能直接替代 torch.jit.script() 或 torch.jit.trace()
如果你原代码靠 torch.jit.script() 生成可序列化模型（比如导出到 C++、LibTorch、移动端或 ONNX），torch.compile() 完全不适用——它返回的是普通 nn.Module，编译结果不跨进程复用，也无法保存/加载。
- 训练/推理加速且无需导出？用
torch.compile(model)替代torch.jit.trace() - 仍需模型导出（ONNX/TorchScript）？继续用
torch.jit.script()或torch.onnx.export()，但注意 PyTorch 2.x 对 JIT 已降级为“维护模式”，部分新算子（如某些自定义 attention）可能不支持 - 遇到 CUDA 编译失败或显存暴涨？临时切后端调试：
torch.compile(model, backend="aot_eager")
必须弃用 nn.DataParallel，改用 DDP 或直接 torch.compile
nn.DataParallel 在 PyTorch 2.1+ 中已不可用，且与 torch.compile() 冲突。它多卡扩展性差，GPU 利用率低，无法触发 inductor 的 kernel 级优化。
- 单机多卡训练：必须迁移到
torch.nn.parallel.DistributedDataParallel（DDP），哪怕只用 2 卡也要调用torch.distributed.init_process_group() - 多卡推理加速（不训练）：去掉
DataParallel包装，对原始模型直接调用torch.compile()—— inductor 后端会自动做 memory fusion 和 kernel 并行 - DDP 中
find_unused_parameters=True在 2.x 开销更大，仅当分支逻辑（如条件 dropout）导致部分参数未参与反向传播时才启用
torch.backends.cudnn.enabled = False 会导致 compile 性能暴跌
旧代码中为保证确定性常禁用 cuDNN，但在 PyTorch 2.x 下这会让 torch.compile() 的 inductor 后端跳过大量优化路径，甚至 fallback 到慢速 eager 模式，实测性能可能比 1.13 还差。
- 如需确定性：优先用
torch.use_deterministic_algorithms(True)+ 设置环境变量CUDA_LAUNCH_BLOCKING=1（调试）或CUBLAS_WORKSPACE_CONFIG=:4096:8（训练） - 不要手动设
torch.backends.cudnn.enabled = False，除非你明确知道某次 conv 运算因 cuDNN 非确定性导致梯度异常 - 验证是否生效：
print(torch.backends.cudnn.enabled, torch.backends.cudnn.benchmark)，正常应为True False（2.x 默认关闭 benchmark）
最易被忽略的点是自定义 C++/CUDA 扩展：PyTorch 2.x 的 ABI 已变更，所有扩展必须用对应版本重编译，否则 import 时直接报 undefined symbol。别指望 wheel 兼容——哪怕只差一个小版本，也得重装源码。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
