TensorRT C++ API怎么加载onnx模型执行推理-C++-PHP中文网

必须用 kexplicit_batch 创建网络定义，否则 onnx 解析器解析失败；需确保 tensorrt 版本与 onnx opset 兼容、输入类型匹配、正确链接 nvonnxparser 库、配置 ibuilderconfig 精度与 shape、设置 workspace 大小，并注意 engine 文件不跨 gpu 架构。

tensorrt c++ api怎么加载onnx模型执行推理

必须用 `kEXPLICIT_BATCH` 创建网络定义

ONNX 解析器在 TensorRT C++ API 中不支持隐式 batch 模式，直接用 builder->createNetworkV2(0U) 会解析失败，报错类似 Unsupported ONNX data type: UNDEFINED 或静默跳过输入输出。显式 batch 是硬性要求，否则后续所有步骤都白搭。

uint32_t flag = 1U (NetworkDefinitionCreationFlag::kEXPLICIT_BATCH);
必须传给 createNetworkV2()，不能省略或设为 0
如果你的 ONNX 模型有动态 shape（如 input: [?, 3, 640, 640]），这个 flag 还是前提，但还需额外配置 profile

`nvonnxparser::IParser` 解析失败的常见原因

调用 parser->parseFromFile() 返回 false 或解析后 getNbErrors() > 0，多数不是代码写错，而是模型本身或环境不匹配。

C++ Code Review Master

组合式C++代码评审方案，融合静态分析、AI推理、多轮迭代评审和C++专项检查，适用于PR审查、增量代码审查、全项目评审和代码质量评分，触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载

TensorRT 版本和 ONNX opset 不兼容：比如用 opset 17 导出的模型，在 TRT 8.4 下无法解析，得降级到 opset 16（PyTorch 导出时加 opset_version=16）
输入类型不匹配：ONNX 中 s_id 是 int64，但 TensorRT 只支持 int32；导出时需确保 s_id=torch.tensor([0], dtype=torch.int32)
缺失 NvOnnxParser.h 头文件或链接 nvonnxparser 库：CMake 中漏了 find_package(nvonnxparser REQUIRED) 或 target_link_libraries(... ${NVONNXPARSER_LIBRARY})

构建 engine 前必须设置 `IBuilderConfig` 精度与 shape

没配 config 就调 buildEngineWithConfig() 会返回空指针，且无明确错误提示。FP16 加速不是默认开启的，得手动打开，否则性能毫无提升。

启用 FP16：config->setFlag(BuilderFlag::kFP16)；INT8 还需额外提供校准数据和回调
固定 shape 模型必须设 maxBatchSize，例如 config->setMaxBatchSize(1)
动态 shape 模型（如 YOLOv5 的可变输入尺寸）必须创建 IOptimizationProfile 并绑定到 config，否则 build 会失败
workspace size 不够会导致 build 卡住或失败，建议起步设 config->setMemoryPoolLimit(MemoryPoolType::kWORKSPACE, 1ULL （1GB）

加载 .engine 文件比从 ONNX 构建快得多，但版本强耦合

线上部署几乎都走“先用 trtexec 离线生成 .engine，运行时只加载”这条路。自己在 C++ 里实时 parse ONNX + build engine 是调试用的，启动慢、易出错、且每次都要重编译图。

trtexec --onnx=model.onnx --saveEngine=model.engine --fp16 --workspace=1024 --optShapes=input:1x3x640x640 是最稳的离线方式
反序列化时必须用和生成 engine 时**完全一致的 TensorRT 主版本号**（如 8.4.x 和 8.6.x 不互通），否则 runtime->deserializeCudaEngine() 返回空指针
engine 文件不跨 GPU 架构：A100 上生成的 engine 在 RTX 4090 上可能无法加载，尤其涉及 INT8 时

实际部署中，最容易被忽略的是 TensorRT 版本矩阵 —— ONNX opset、PyTorch 导出版本、trtexec 工具版本、C++ 运行时链接的 TRT 库版本，这四者只要有一个 mismatch，就会在 parse、build 或 deserialize 任一环节静默失败。别迷信“最新版最好”，稳定压倒一切。