手把手教你使用tensorrt部署已训练的caffe模型
1、 TensorRT技术概述
2、 TensorRT基于GCC 4.8构建，具备跨框架兼容性，可脱离深度学习框架独立运行。对于Caffe模型，TensorRT可通过专用解析器将其转换为高度优化的推理引擎。核心工具为NvCaffeParser，它能加载Caffe的prototxt网络定义文件与caffemodel权重文件，并转换为TensorRT内部张量表示；同时原生支持FP16半精度计算，显著提升推理吞吐量与能效比。
3、 以Jetson TX1开发板为例，官方预置的TensorRT示例程序位于/usr/src/gie_samples/samples路径下。进入该目录后，可直接访问各子文件夹并运行对应样例，快速验证开发环境配置是否正确，并掌握基础API调用流程。
4、 data目录中存放LeNet与GoogleNet的网络结构定义（.prototxt）及预训练权重（.caffemodel）；giexec目录提供TensorRT通用接口的实现源码；其余子目录则分别封装了不同网络模型的定制化调用逻辑。项目根目录下的Makefile用于统一管理编译参数，只需在gie_sample目录中打开终端，执行sudo make命令即可完成全量编译。成功编译后，所有生成的可执行文件将自动输出至bin目录。接下来，我们将聚焦于bin目录中所生成的具体可执行程序及其功能说明。
5、 在应用补丁前，必须完成两项前置校验：第一，确保当前未打补丁状态下的Caffe训练与测试流程均能稳定运行；第二，强烈建议对整个Caffe工程进行完整备份，防止补丁操作失败引发不可逆的系统异常。具体操作为：切换至Caffe主目录，运行make clean清除历史编译产物；随后执行git am \$PATH/fpga.8-bit.patch命令尝试导入补丁，观察是否出现冲突或拒绝应用（rejection）情况。每一步操作均需确认无误后再推进，以保障开发环境的可靠性与数据完整性。
6、 实施补丁过程中需手动编辑若干关键源文件。首先进入src/caffe/proto/路径，打开caffe.proto文件，在message LayerParameter { }结构体末尾添加以下三行代码：
// FPGA量化参数
optional QuantizationParameter quantization_param = 6000;
// 添加人：liyupeng03
随后，提取src/caffe/proto/目录下caffe.proto.rej文件中的有效变更内容，并将其合并至caffe.proto主文件中，确保所有新增字段完整生效。接着处理编译配置，将Makefile.config.rej中涉及的修改项逐一整合进项目根目录的Makefile.config文件，注意在保留原有配置基础上准确嵌入新参数。全部文件更新完成后，返回Caffe主目录（即项目根路径），执行make all重新编译整个工程。该过程将依据最新代码与配置生成适配的二进制文件和动态库，为后续TensorRT集成奠定基础。请务必检查编译日志，确保无任何错误或警告信息，若存在异常应立即回溯文件修改内容并修正。
