TensorFlow原生GPU推理慢因未深度优化，需TensorRT接管计算密集子图；必须用frozen graph、预留显存、校准int8、序列化engine文件，并注意TF2.x已弃用内置TRT API。
TensorFlow 原生 GPU 推理在很多实际部署场景下确实偏慢——不是模型本身不行，而是默认执行路径没做深度图优化、没用上最优 kernel、也没做精度压缩。直接用 tf.function 或 tf.keras.Model.predict 跑，往往只发挥出 GPU 算力的 30%～50%。真正提速的关键不在换框架，而在让 TensorRT 接管计算密集子图。
TensorRT 加速 TensorFlow 的核心限制：必须用 frozen graph + 显存分区
TensorRT 对 TensorFlow 的集成不是“插件式启用”，它依赖冻结图（frozen_graph.pb）作为输入，并且要求你在初始化时就划清 GPU 显存归属。常见错误是直接对 tf.keras.Model 对象调用 trt.create_inference_graph，结果报错 NotImplementedError: Cannot convert a symbolic Tensor。
实操要点：
- 必须先用
tf.graph_util.convert_variables_to_constants或tf.saved_model.save→tf.saved_model.load→concrete_function导出 frozen graph（.pb） - 启动 session 前，用
tf.GPUOptions(per_process_gpu_memory_fraction=0.67)预留至少 30% 显存给 TensorRT 引擎，否则create_inference_graph会静默失败 - TensorRT 只加速 Conv2D/ReLU/BatchNorm/FullyConnected 类子图，RNN、自定义 op、动态 shape 控制流（如
tf.while_loop）会被跳过，这部分仍走 TF 原生路径
fp16 和 int8 量化不是开个开关就完事
TensorRT 的 fp16 模式能稳提 1.5–2.5× 吞吐，但前提是你的 GPU 支持 Tensor Core（T4/A10/A100/V100 起），且模型中没有 tf.float64 或不兼容的算子残留。而 int8 更麻烦：它需要校准（calibration），不是训练时加 QAT 就行，而是在推理前用真实样本跑几十到几百 batch，让 TensorRT 统计各 tensor 的激活分布。
容易踩的坑：
- 校准数据必须和线上 inference 数据分布一致，拿 ImageNet val 集校准一个工业缺陷检测模型，
int8精度掉点可能超 5% -
trt.calib_mode必须设为True且只在校准阶段启用；部署时忘关，会持续做统计拖慢首帧 - 某些层（如 Softmax 前的 Logits）禁用 int8，需手动在
trt.get_optimized_graph后用trt.set_layer_precision排除
首帧延迟高？必须序列化 engine 文件
第一次运行 TensorRT 加速图时，你会明显卡顿——这不是 bug，是 TensorRT 在做 kernel auto-tuning、layer fusion 和显存 layout 重排。这个过程耗时从 200ms（小模型）到 3s+（ResNet-152）不等，且每次重启进程都重来。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
解决方法很直接：
- 调用
trt.write_calibration_cache（int8 场景）或trt.serialize_engine（fp16/fp32）把优化后的 engine 存成二进制文件（如model.engine） - 后续加载直接用
trt.deserialize_engine，首帧延迟回落到原生 TF 的 1.2× 水平 - engine 文件与 CUDA/cuDNN/TensorRT 版本强绑定，
/usr/lib/x86_64-linux-gnu/libnvinfer.so.8.6.1升级后必须重生成，否则load_engine报Invalid Engine
TensorFlow 2.x 用户注意：TF-TRT API 已弃用，改用 tf.nn.quantized_conv2d 等底层算子替代
从 TensorFlow 2.10 开始，tf.contrib.tensorrt 和 trt.create_inference_graph 全面移除。官方推荐路径是：导出 ONNX → 用 trt.OnnxParser 构建 engine。这意味着你不能再依赖 TF 内置 TRT 封装，而要自己处理输入 shape、dynamic axes、op 替换逻辑。
关键差异点：
- ONNX 导出时，
opset=13是底线，低于此版本的GatherND、NonMaxSuppression可能解析失败 -
trt.BuilderConfig.max_workspace_size至少设为1（1GB），否则 ResNet 类模型构建直接报Engine creation failed: Out of memory - TF2 模型若含
@tf.function(input_signature=...)，导出 ONNX 前务必用 concrete function 绑定 shape，否则 dynamic axis 无法对齐 TensorRT 的 profile
TensorRT 加速不是“套壳即赢”，它把性能优化的控制权交还给了开发者：你要亲手管显存、管精度、管序列化生命周期、管 ONNX 兼容边界。最常被忽略的一点是——engine 文件不能跨 TensorRT 主版本复用，哪怕只是 libnvinfer.so.8.6.1 → 8.6.2，也得重 build。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
