optimize.default仅权重量化致压缩率约50%且无法发挥int8硬件加速；要达75%+压缩需全整数量化，必须提供匹配预处理的真实representative_dataset校准激活值scale/zero_point，否则报错或精度崩溃。

直接用 tf.lite.TFLiteConverter 转换 + 启用 Optimize.DEFAULT，就能把 Keras 模型体积压到原大小的 1/4 左右；但想进一步压到 75% 甚至更高，必须加量化校准——否则精度掉得快，而且很多设备根本跑不起来。

为什么 Optimize.DEFAULT 不够用？

它只做权重量化（比如 float32 → int8），但激活值仍走 float32，属于“动态范围量化”。这适合快速验证，但无法发挥 INT8 硬件加速潜力，模型体积压缩也卡在 ~50% 左右。真正要减 75%，得走全整数量化（INT8 输入/输出 + 激活），而这必须提供真实数据分布来校准缩放因子 scale 和零点 zero_point。

• 没给 representative_dataset 就设 inference_input_type = tf.int8，转换会直接报错：ValueError: representative_dataset must be provided when specifying integer input/output types
• 校准数据量太少（比如只 yield 1–2 个 batch）会导致 scale 偏差大，推理时输出全为 0 或 NaN
• 校准数据 shape 必须和模型实际输入完全一致，包括 batch 维度（哪怕只是 (1, 224, 224, 3)）

怎么写靠谱的 representative_data_gen？

它不是随便生成噪声，而是模拟真实推理时的输入分布。如果你有验证集，就从中取 100–200 张图；如果没有，至少用真实尺寸的随机图，别用 np.random.random 直接填满 [0,1]——图像像素实际是 [0,255] 或经归一化到 [-1,1]，必须匹配训练时的预处理逻辑。

• 先确认模型输入是否归一化：比如 MobileNetV2 训练时用 tf.keras.applications.mobilenet_v2.preprocess_input，那校准数据就得走同样流程
• yield 的 numpy 数组 dtype 必须是 np.float32，哪怕你最终要 int8 推理——TFLite 转换器内部会按你给的 inference_input_type 自动映射
• 别在 generator 里做耗时操作（如解码 JPEG、resize），提前准备好内存数组，否则转换卡住或 OOM

全整数量化必须配齐的 4 个参数

漏一个，转换就失败或推理出错。这四个是硬性组合：

python学习

Python 编程学习助手 skill，面向零基础用户。 当用户表达以下意图时触发： - 学习 Python 基础概念（变量、数据类型、循环、函数、类等） - 请求 Python 练习题或测验 - 请求审查或调试 Python 代码 - 请求 Python 项目实战指导（爬虫、数据分析、Web 开发等入门项目） - 泛化表述如"教我 Python""我想学编程""Python 怎么写""帮我学 Python" 此 skill

下载

• converter.optimizations = [tf.lite.Optimize.DEFAULT]
• converter.representative_dataset = representative_data_gen
• converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
• converter.inference_input_type = tf.int8 且 converter.inference_output_type = tf.int8

注意：TFLITE_BUILTINS_INT8 不兼容某些高级 op（如 tf.nn.l2_normalize），如果模型里有，得提前替换或用 QAT 微调；另外，inference_input_type 和 inference_output_type 必须同时设，不能只设输入。

C++ 推理时 int8 输入怎么喂？

Python 转出来的 .tflite 模型要求输入是 int8，但你传进来的原始图像还是 uint8（0–255）。不能直接 memcpy，得做线性反量化还原：用转换时生成的 scale 和 zero_point 把 uint8 映射回 float32 范围，再喂给模型——但等等，TFLite C++ API 并不让你手动算这个，它内部已固化了量化参数。你只需：

• 查 interpreter->input_tensor(0)->params.scale 和 .zero_point（调试时用）
• 把原始 uint8 图像减去 zero_point，再乘 scale，转成 int8 数组
• 用 interpreter->typed_input_tensor<int8_t>(0)</int8_t> 指针直接 memcpy 进去

最容易被忽略的是：C++ 侧的输入预处理必须和 Python 校准时完全一致，包括归一化顺序、通道顺序（RGB vs BGR）、padding 方式——差一点，输出就全乱。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！