TensorRT提供五种硬件级推理优化方法：一、启用子图融合；二、离线构建序列化引擎；三、基于ONNX转换优化；四、INT8量化校准；五、启用DLA或MIG切分，全面提升AI模型推理性能。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您正在部署人工智能模型，但发现推理延迟高、吞吐量低或显存占用过大，则可能是由于未启用硬件级推理优化。TensorRT 是 NVIDIA 提供的专用推理加速 SDK，可针对 GPU 架构深度优化计算图，显著提升模型执行效率。以下是多种可行的加速方法：
一、启用 TensorRT 子图融合加速
该方法利用 Paddle Inference 等框架内置的 TensorRT 集成能力，自动识别并替换计算图中可由 TensorRT 处理的子图，实现混合执行——TensorRT 负责高密度算子，原生框架处理其余部分，兼顾灵活性与性能。
1、在初始化推理配置时，设置 enable_tensorrt_engine = True。
2、指定 TensorRT 支持的精度模式，例如 precision = "fp16" 或 precision = "int8"（需配合校准数据）。
3、设定输入 shape 模式：静态 shape 下需固定除 batch 外所有维度；动态 shape 下需通过 min_input_shape、max_input_shape 和 opt_input_shape 显式声明范围。
4、调用 predictor.run() 时，Paddle Inference 将自动触发 TensorRT 子图编译与执行。
二、离线构建并序列化 TensorRT 引擎
避免每次启动时重复执行图分析、Kernel 选择与显存规划等耗时操作，通过预构建并保存 engine 文件，实现秒级加载与零编译延迟推理。
1、使用 TensorRT Python API（如 trt.Builder）加载 ONNX 模型。
2、配置 builder 参数：设置 max_batch_size、max_workspace_size 及 fp16_mode 等关键选项。
3、调用 builder.build_cuda_engine(network) 生成 engine 对象。
4、将 engine 序列化为字节流，并写入本地文件：with open("model.engine", "wb") as f: f.write(engine.serialize())。
5、后续推理时直接反序列化加载：runtime.deserialize_cuda_engine(f.read())。
三、基于 ONNX 中间表示转换并优化
ONNX 作为通用模型交换格式，可屏蔽训练框架差异，便于统一接入 TensorRT；同时支持算子级别控制与图重写，适合跨框架模型加速。
1、将 PyTorch/TensorFlow/Paddle 模型导出为 ONNX 格式，确保 opset_version ≥ 11 以兼容 TensorRT 动态 shape 特性。
2、使用 onnx-simplifier 工具清理冗余节点、合并常量、消除 Identity 层。
3、验证 ONNX 模型结构正确性：onnx.checker.check_model(model)。
4、调用 trt.OnnxParser 解析 ONNX 并构建 network，过程中检查 parser.error_recorder 获取不支持 OP 的具体提示。
5、对 parser 报错的 OP，手动在 ONNX 图中替换为 TensorRT 支持等价结构（如将 GroupNorm 拆解为 Normalize + Scale）。
四、INT8 量化校准以提升吞吐
在精度损失可控前提下，将权重与激活从 FP32 降至 INT8，可大幅降低带宽需求与计算延迟，尤其适用于 Jetson 边缘设备与数据中心高并发场景。
1、准备不少于 500 张具有代表性的校准图像，确保覆盖实际推理分布。
2、定义校准器类并继承 trt.IInt8EntropyCalibrator2，重写 get_batch 与 read_calibration_cache 方法。
3、在 builder 配置中启用 int8_mode = True 并传入校准器实例。
4、首次构建时自动执行前向传播采集激活直方图，生成 calibration_table 缓存文件。
5、后续构建复用该缓存，跳过校准阶段，仅加载量化参数即可生成 INT8 engine。
五、启用 DLA 或 GPU 多实例切分（MIG）
在 Jetson 系列或支持 MIG 的 A100/A30 上，将推理任务卸载至专用硬件单元，实现 CPU/GPU 资源隔离与确定性延迟保障。
1、查询设备支持能力：nvidia-smi -L 查看 DLA 引擎数量或 MIG 设备列表。
2、对于 Jetson NX/Nano，设置 device_type = trt.DeviceType.DLA 并指定 dla_core = 0。
3、对于 A100，使用 nvidia-smi mig -cgi 1g.5gb 创建 MIG 实例，再绑定 TensorRT context 到对应 GPU UUID。
4、在 builder 配置中启用 allow_gpu_fallback = False，强制仅使用 DLA/MIG 执行。
5、验证日志输出是否包含 "Using DLA core" 或 "MIG device activated" 字样。
