必须满足pytorch≥2.3、cuda≥11.8、tensorrt≥8.6三硬条件，否则torch.compile会静默回退至原生pytorch；动态shape需显式传入inputs三元组，fp16需手动开启且部分算子不兼容，c++部署须用torch.export+torch_tensorrt.compile流程。
直接用 torch.compile + backend="tensorrt" 就能跑通，但必须满足三个硬条件：PyTorch ≥ 2.3、CUDA ≥ 11.8、TensorRT ≥ 8.6，缺一不可；否则会静默回退到原生 PyTorch，你根本察觉不到加速失败。
torch.compile 调用 TensorRT 的前提校验
不是装了 torch_tensorrt 就自动生效。先确认运行时环境是否真正支持：
-
torch.__version__必须 ≥2.3.0（2.2.x 及更早版本不支持tensorrtbackend） -
torch.version.cuda必须 ≥"11.8"（11.7或更低会导致torch.compile拒绝启用 TensorRT） -
import torch_tensorrt; torch_tensorrt.__version__应返回"2.3.0"或更高，且与 PyTorch 主版本对齐 - 运行
nvidia-smi确认驱动版本 ≥525.60.13（对应 TensorRT 8.6+ 最低要求）
任意一项不满足，torch.compile(model, backend="tensorrt") 会降级为普通 TorchScript 编译，没有任何报错提示——这是最常被忽略的“假成功”陷阱。
动态 shape 必须显式传入 inputs 参数
torch.compile 不会自动推断 shape 范围，不给 inputs 就只能处理固定 shape，且编译后无法 resize 输入 tensor。
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
- 错误写法：
torch.compile(model, backend="tensorrt")→ 编译后只接受和首次 forward 完全一致的 shape - 正确写法：
torch.compile(model, backend="tensorrt", inputs=[torch.randn(1,3,224,224).cuda()]) - 若需动态 batch 或分辨率，必须用三元组：
inputs=[(torch.randn(1,3,224,224), torch.randn(4,3,224,224), torch.randn(8,3,224,224))]，对应(min_shape, opt_shape, max_shape) - 注意：所有 shape 维度都必须是常量（不能含
-1或None），否则编译直接失败
FP16 加速需手动开启，且不兼容某些算子
Torch-TensorRT 默认走 FP32，要提速必须显式启用 FP16，但部分自定义或非标准算子（如某些 torch.nn.functional.interpolate 模式）会触发 fallback。
- 启用方式：
torch.compile(model, backend="tensorrt", options={"precision": "fp16"}) - 常见 fallback 场景：
mode="bicubic"插值、torch.where带复杂条件、含torch.nonzero的控制流 - 验证是否真走 TensorRT：启用
TRT_LOGGER=VERBOSE环境变量，看日志中是否有"Compiling subgraph with TensorRT"和"Fallback to eager"并存 - 性能提示：FP16 下首次编译耗时显著增加（尤其大模型），但后续推理可比 FP32 快 2–3 倍
C++ 部署不能直接用 torch.compile 输出
torch.compile(..., backend="tensorrt") 返回的是 Python-only 的 CompiledFunction，无法序列化导出为 C++ 可加载格式。
- 若需 C++ 推理，必须换用
torch.export+torch_tensorrt.compile流程 - 关键步骤：
exported = torch.export.export(model, inputs); trt_gm = torch_tensorrt.compile(exported, ir="dynamo", inputs=inputs) - 保存为 TorchScript：
torch_tensorrt.save(trt_gm, "model.ts", output_format="torchscript")，此文件才可在 libtorch 中加载 - ONNX 路径仍是备选，但
torch.export生成的 ExportedProgram 更稳定，尤其对 control flow 支持更好
真正麻烦的不是编译命令本身，而是 TensorRT 在后台悄悄 fallback 的那些分支——它们不会报错，只会让一部分子图变慢，而你得靠逐层 profile 才能揪出来。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
