导出tensorflow模型为savedmodel前必须确认三件事:模型已是训练好的savedmodel格式(非h5或检查点)、输入输出张量名明确可追踪、tensorflow与tf2onnx版本兼容(推荐tf 2.8–2.11 + tf2onnx≥1.14)。

TensorFlow模型导出为SavedModel前必须确认的三件事
直接调用tf2onnx.convert失败,八成卡在这三个前提没满足:模型必须是已训练好的SavedModel格式(不是H5或检查点),输入输出张量名需明确可追踪,且TensorFlow版本与tf2onnx兼容。TF 2.12+ 默认禁用v1兼容模式,而tf2onnx某些旧版依赖tf.compat.v1,建议统一用TF 2.8–2.11 + tf2onnx>=1.14。
用tf2onnx.convert转SavedModel时的关键参数
tf2onnx.convert不接受Keras模型对象,只认saved_model_dir路径。常见误操作是传入.h5文件或模型变量名。正确做法是先model.save("my_model")生成目录,再传该目录路径。必须指定input_signature或opset,否则可能因自动推断失败报ValueError: Cannot infer shape for input。
-
--inputs和--outputs:用TensorFlow原生名称(如serving_default_input_1:0),不是Keras层名;可用saved_model_cli show --dir my_model --tag_set serve查清 -
--opset 15:推荐值,低于12可能丢弃自定义层支持,高于16部分推理引擎(如ONNX Runtime 1.15)尚未完全兼容 -
--inputs-as-nchw:图像模型务必加,否则Conv2D权重顺序错乱,输出全零
遇到Unsupported ops: ['Switch', 'Merge']怎么办
这是TF控制流(tf.cond、tf.while_loop)未被tf2onnx完全支持的典型错误。不是所有动态图都能无损转ONNX——尤其是含条件分支的训练模型。解决路径很窄:
- 改用
@tf.function(input_signature=...)重写前向逻辑,强制静态图,再保存为SavedModel - 若必须保留动态控制流,尝试加
--extra_opset ai.onnx.contrib:1启用实验性扩展(需ONNX Runtime预编译支持) - 彻底绕过:用
tf.keras.models.load_model加载后,手动遍历model.layers提取权重,用onnx.helper从零构建ONNX Graph(仅适用于简单模型)
导出后验证ONNX模型是否真能跑通
很多脚本显示“convert success”,但加载时报InvalidGraph: Node is not in topological order。别跳过验证步骤:
- 用
onnx.checker.check_model(model)确认基础结构合法 - 用
onnxruntime.InferenceSession加载并喂入真实shape的numpy数据(注意dtype匹配,TF默认float32,ONNX Runtime对int64输入更敏感) - 比对TF原生输出与ONNX输出:用
np.allclose(tf_out, onnx_out, atol=1e-5),误差超1e-3大概率是算子映射偏差(如tf.nn.softmax在不同opset下归一化维度处理不一致)
最易被忽略的是输入预处理——TF SavedModel常内置Rescaling或Normalization层,而ONNX模型只保留纯计算图。导出前务必确认这些层是否已固化进图中,否则部署时得额外在Python/C++侧补相同逻辑。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











