torch.compile 对中等以上规模、计算密集型、控制流简单的模型（如resnet、vit、llama-2 decoder层）加速明显；对含大量if分支、动态shape或自定义cuda扩展不兼容的模型可能无效甚至变慢。
torch.compile 在什么模型上能真正加速？
不是所有模型都能靠 torch.compile 显著提速。它对中等以上规模、计算密集型、且控制流较简单的模型（如 ResNet、ViT、Llama-2 的 decoder 层）效果明显；但对大量 if 分支、频繁调用 torch.cuda.synchronize()、或大量动态 shape 的模型（比如带复杂 padding 逻辑的 seq2seq），可能无加速甚至变慢。
实操建议：
- 先用
torch.compile(model, mode="default")测试 baseline，再对比原始 eager 模式下的train_step耗时（别只看 epoch 时间，要测单 step） - 避免在
__init__或forward中写依赖 runtime 输入的 shape 判断（如if x.size(0) > 16:），这类逻辑会触发 graph break - 如果模型含自定义 C++/CUDA 扩展，需确认其支持 TorchDynamo —— 否则会 fallback 到 eager，且不报错，只默默失效
mode="reduce-overhead" 和 mode="max-autotune" 怎么选？
mode 参数决定编译策略和启动开销："reduce-overhead" 侧重降低 compile + dispatch 开销，适合小 batch 或高频迭代场景（如 RL 的 rollout）；"max-autotune" 会花几十秒到几分钟做 kernel 搜索，适合训练周期长、batch size 固定的场景（如 ImageNet finetune）。
常见错误现象：在 Jupyter 或短脚本里盲目用 mode="max-autotune"，结果卡住 2 分钟才开始训练，误以为程序 hang 了。
实操建议：
- 调试阶段一律用
mode="reduce-overhead"，确保功能正确后再切到"max-autotune" -
"max-autotune"生成的优化 kernel 缓存默认存在~/.cache/torchcompile/，换卡型号（如从 A100 换到 4090）必须清空该目录，否则可能加载错位 kernel 导致 NaN 或 crash - 若用 DDP，确保所有 rank 使用相同
mode和输入 shape，否则各 rank 编译不同 graph，同步失败
为什么加了 torch.compile 反而 OOM 或显存暴涨？
PyTorch 2.0 默认启用 torch.compile 的 memory planning 优化，但某些情形下会过度保留显存（尤其在梯度检查点 + compile 共用时）。典型表现是：eager 模式跑得动，加了 torch.compile 直接 OutOfMemoryError。
实操建议：
- 禁用 memory planning：传入
dynamic=True（让 Dynamo 更激进地处理 dynamic shape）或显式关闭 planner：torch._inductor.config.memory_planning = False - 避免在
torch.compile外层套torch.cuda.amp.autocast()—— 应放在 model 内部或 loss 计算前，否则 AMP context 可能干扰 graph 构建 - 检查是否无意中把
optimizer.step()放进了被 compile 的函数里（比如封装了 train_step），这会导致 optimizer state 被 trace，显存泄漏
如何定位 graph break 和 fallback？
当 torch.compile 遇到无法 trace 的操作（如 numpy 调用、未注册的自定义 op、Python 字典遍历），会 fallback 到 eager 模式执行，并打印 warning。但默认不报错，容易忽略。
实操建议：
- 启动前加环境变量：
export TORCHDYNAMO_VERBOSE=1，或代码中插入torch._dynamo.config.verbose = True，可看到每行代码是否被成功 capture - 关键日志关键词：
"graph break"表示中断重编译，"backend='eager'"表示 fallback，"recompiles=1"多次意味着输入 shape 不稳定 - 用
torch._dynamo.explain(model, *example_inputs)输出详细 trace 报告，重点关注 “Breaks” 和 “Graph Break Reason” 字段
实际项目里，最常被忽略的是 DataLoader 返回的 dict 中混用了 numpy array 或非 tensor 类型字段——哪怕只有一处，整个 batch 的 forward 就会 fallback。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
