必须确认模型支持int8推理：含不支持算子（如自定义层、动态shape、未冻结bn）时，转换会静默降级为float32或报delegate failed错误；强制int8需同时满足提供校准数据集、设置tflite_builtins_int8算子集，并确保校准数据真实匹配训练分布。
量化前必须确认模型是否支持INT8推理
TensorFlow的权重量化不是万能开关，直接对任意SavedModel调用tf.lite.TFLiteConverter可能生成无效TFLite模型——尤其当原始模型含不支持INT8的算子（如某些自定义层、动态shape操作、未冻结的BatchNorm）时，转换会静默降级为FLOAT32，或在设备端运行时报Delegate failed to prepare错误。
实操建议：
- 先用
tf.lite.TFLiteConverter.from_saved_model()加载模型，设置converter.experimental_enable_resource_variables = True（适配TF 2.10+变量行为） - 强制启用INT8需同时满足：提供校准数据集 + 设置
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8] - 校准数据必须是真实输入分布的代表性子集（至少100–500张图），且预处理逻辑与训练时完全一致（包括归一化、resize方式）
- 若校准后仍报
Quantization not supported for op XXX，说明该算子无INT8内核，需回退到tf.lite.OpsSet.TFLITE_BUILTINS（混合精度）或改用Post-training integer quantization with fallback
权重量化和全整型量化的关键区别在哪
很多人混淆“仅量化权重”和“全整型量化”，但二者对部署影响极大：weight_only_quantization只把权重转成INT8，激活仍为FLOAT32，适合CPU推理加速；而full-integer-quantization要求权重+激活全为INT8，才能在Edge TPU、Coral等硬件上真正启用硬件加速。
实操建议：
- 仅权重量化：设
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]，不传representative_dataset，此时converter.inference_input_type和inference_output_type无效 - 全整型量化：必须传
representative_dataset，且显式指定converter.inference_input_type = tf.int8、converter.inference_output_type = tf.int8 - 注意输入输出类型匹配：若模型输入是
uint8图像（如[0,255]），需在representative_dataset中保持相同类型，并设converter.inference_input_type = tf.uint8，否则量化误差剧增
校准数据集构造不当导致精度崩塌
校准不是随便喂几张图就行。常见错误是用全零/全1输入、单张图重复100次、或未还原训练时的均值方差（比如训练用(x - 127.5) / 127.5，校准时却直接送[0,1]浮点图），这会让量化参数（scale/zero_point）严重失真，最终模型准确率掉点超10%。
实操建议：
- 从验证集中随机采样，确保覆盖各类别、光照、尺度变化
- 校准数据预处理函数必须和训练时
tf.keras.applications.*.preprocess_input完全一致（注意TF版本差异：TF 2.12+的resnet_v2.preprocess_input默认走tf.image.per_image_standardization，而非旧版减均值） - 用
lambda x: x.astype(np.float32)显式转类型，避免PIL读图后默认uint8被误当INT8输入 - 调试时可临时保存量化后的TFLite模型，用
netron打开查看各层quantization_parameters是否合理（scale应在0.001–0.1量级，zero_point多为0或±128）
量化后模型在设备端报错“Input tensor is not INT8”
这个错误通常不是模型问题，而是调用侧没对齐——TFLite Interpreter默认以FLOAT32加载输入，但全整型模型要求输入tensor dtype为INT8。即使模型本身正确，只要interpreter.set_tensor()传入了float数组，就会触发该错误。
实操建议：
- 加载模型后立即检查输入类型：
input_details = interpreter.get_input_details(); print(input_details[0]['dtype'])，确认是np.int8或np.uint8 - 输入数据必须手动量化：用校准得到的scale/zero_point反向计算，例如
input_int8 = np.clip(np.round(float_input / scale) + zero_point, -128, 127).astype(np.int8) - 不要依赖
interpreter.resize_tensor_input()自动适配类型，它只改shape，不改dtype - 移动端JNI调用时，务必用
ByteBuffer.allocateDirect()分配内存，并order(ByteOrder.nativeOrder())，否则大小端错位会导致全黑输出
权重量化的真正难点不在代码几行调用，而在于校准数据的真实性、硬件后端对算子的支持边界、以及输入输出数据流在量化域和浮点域之间的精确映射。漏掉任一环，压缩率上去了，模型就废了。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
