torch.compile() 仅适用于训练/推理加速且无需导出的场景，不能替代需序列化部署的torch.jit.script()；必须迁移到ddp而非dataparallel；禁用cudnn会严重损害compile性能；自定义扩展须用pytorch 2.x重编译。
torch.compile() 替代 torch.jit.script() 和 torch.jit.trace() 的时机判断
PyTorch 2.x 引入 torch.compile() 作为默认推荐的图优化方式，但它**不能直接替换所有 JIT 使用场景**。如果你原代码依赖 torch.jit.script() 输出可序列化、跨 Python 版本加载的 ScriptModule（比如部署到 C++ 或移动端），torch.compile() 不适用——它只返回普通 nn.Module，且编译结果不保证跨进程/跨设备复用。
实操建议：
- 仅在训练/推理加速且无需模型导出时，用
torch.compile(model)替代torch.jit.trace() - 仍需导出模型（ONNX、TorchScript、LibTorch）时，继续用
torch.jit.script()或torch.onnx.export()，但注意 PyTorch 2.x 对torch.jit的支持已降级为“维护模式”，部分新算子可能未覆盖 -
torch.compile()默认后端是"inductor"，若遇到 CUDA 编译失败或显存暴涨，可临时切回"aot_eager"调试：torch.compile(model, backend="aot_eager")
nn.DataParallel 被弃用后必须改用 DDP 或 torch.compile + 自动并行
PyTorch 2.0 起，nn.DataParallel 已标记为 deprecated，运行时会抛警告；2.1+ 在某些配置下会直接报错。它无法与 torch.compile() 共存，且多卡扩展性差、GPU 利用率低。
实操建议：
- 单机多卡训练必须迁移到
torch.nn.parallel.DistributedDataParallel（DDP），哪怕只用 2 卡也要初始化torch.distributed（init_process_group） - 若只是想快速启用多卡推理加速，且模型能被
torch.compile()正确捕获，可先去掉DataParallel包装，直接对原始模型调用torch.compile()—— inductor 后端会自动做 kernel 级并行和 memory fusion - 注意 DDP 的
find_unused_parameters=True在 PyTorch 2.x 中开销更大，仅当分支逻辑确实导致部分参数未参与反向传播时才启用
torch.backends.cudnn.enabled = False 的兼容性陷阱
旧代码中常手动关闭 cuDNN（如为保证 determinism）：设置 torch.backends.cudnn.enabled = False。但在 PyTorch 2.x 中，这会导致 torch.compile() 的 inductor 后端跳过大量优化路径，甚至触发 fallback 到慢速 eager 模式，性能反而比 1.13 还差。
实操建议：
- 如需确定性，优先用
torch.use_deterministic_algorithms(True)+ 设置环境变量CUDA_LAUNCH_BLOCKING=1，而非禁用 cuDNN - 若必须关 cuDNN（例如调试特定算子行为），请确保该设置在
torch.compile()**之前**完成，否则编译器可能已缓存了 cuDNN 启用状态 - 检查是否真有 cuDNN 相关非确定性：很多情况下，
torch.backends.cudnn.benchmark = False就足够，不必完全禁用
自定义 C++/CUDA 扩展需重编译且 ABI 不兼容
PyTorch 2.x 使用了更新的 C++ ABI（如 libc++17 标准）和 TorchScript IR 变更，所有通过 torch.utils.cpp_extension.load() 或 setup.py 编译的自定义扩展，**必须用 PyTorch 2.x 的头文件和库重新编译**，否则运行时大概率出现 undefined symbol 或段错误。
实操建议：
- 删除旧扩展的
.so文件和build/目录，再执行编译命令 - 确认
torch.__version__和扩展编译时链接的 PyTorch 版本一致，可用ldd your_extension.so | grep torch验证动态链接 - 若扩展含 CUDA 代码，还需检查
nvcc版本兼容性：PyTorch 2.0+ 推荐 CUDA 11.8，2.2+ 支持 CUDA 12.1，混用易出 silent failure
torch.compile() + DDP + 自定义 op 三件套，比通读 release note 更管用。Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
