Python如何将训练好的CV模型转换为TensorRT_编写PythonAPI解析ONNX生成Engine-Python教程-PHP中文网

onnx导出需固定shape或用dynamic_axes声明动态维度，opset_version≥13，导出前调用model.eval()和torch.no_grad()，避免python控制流；tensorrt解析onnx前须校验合法性并检查parser.parse()返回值，builderconfig需配对设置explicit_batch与max_workspace_size。

python如何将训练好的cv模型转换为tensorrt_编写pythonapi解析onnx生成engine

ONNX模型导出时shape必须固定或使用dynamic_axes

PyTorch训练完的模型不能直接喂给TensorRT，得先转成ONNX。关键陷阱是：如果模型含动态shape（比如输入batch为None、图像尺寸不固定），torch.onnx.export 默认会报错或导出失败。必须显式声明动态维度。

用dynamic_axes参数标注可变维度，例如{'input': {0: 'batch'}, 'output': {0: 'batch'}}
opset_version建议≥13（TensorRT 8.6+对opset 14支持更稳）
导出前调用model.eval()并禁用梯度：torch.no_grad()，否则可能引入训练相关算子（如Dropout）导致ONNX解析失败
避免在forward里用Python控制流（if/for），改用torch.where或torch.nn.functional.interpolate等traceable操作

TensorRT Python API构建Engine前需校验ONNX兼容性

不是所有ONNX算子都能被TensorRT支持，尤其当模型含自定义OP、高阶控制流或较新opset特性时，trt.OnnxParser解析阶段就可能静默跳过节点或报Assertion failed错误。

Claw Code Suite (Python-Only Edition)

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...

下载

先用onnx.checker.check_model(model_path)确认ONNX文件结构合法
用polygraphy inspect model model.onnx（需装polygraphy）查看算子列表和输入输出tensor shape
创建trt.Builder后，务必检查parser.parse()返回值——它返回bool，不是异常，失败时只默默返回False，需手动判断
若解析失败，启用parser.reportUnsupportedTypes()并配合logger看具体哪个node不支持

配置BuilderConfig时explicit_batch和max_workspace_size要配对设

TensorRT 8.0+强制要求Network开启explicit_batch模式，而Python API中这由network.has_implicit_batch_dimension隐式控制——只要你在add_input时指定了完整shape（不含-1），就自动进入explicit模式；否则build会直接失败。

config.max_workspace_size单位是字节，别写成MB没换算（比如2GB应写2 ）
开启FP16需同时设config.set_flag(trt.BuilderFlag.FP16)，且确保GPU支持（nvidia-smi -q | grep "Compute Capability" ≥ 7.0）
对于小模型，config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, ...)比旧版max_workspace_size更推荐（TRT 8.5+）
profile必须添加：即使输入全静态，也要调config.add_optimization_profile(profile)，否则build报No optimization profiles have been defined

序列化Engine后反序列化时context绑定容易漏device

保存下来的.engine文件只是权重+执行计划，运行时仍需分配GPU内存、绑定stream、设置输入输出buffer——最容易出问题的是context.execute_v2()前没把host buffer拷到device memory，或cuda.memcpy_htod传错了指针。

输入输出buffer必须用cuda.alloca()或cuda.mem_alloc()在GPU上分配，不能用numpy.array直接传
执行前用context.set_binding_shape(0, actual_shape)动态设置实际batch/size（尤其用了dynamic_axes）
多个stream并发推理时，每个context要绑定独立cuda.Stream，别共用一个
注意context生命周期：它不持有engine引用，engine对象销毁后context立即失效

TensorRT的Python API表面封装了C++逻辑，但几乎所有环节都依赖显式资源管理——从ONNX shape定义、parser返回值检查，到buffer内存分配和context绑定，任一环忽略都会静默失败或core dump。最常被跳过的其实是profile配置和device buffer分配这两步。