量化前需确认模型兼容性：须用tf.keras.model构建、保存为savedmodel、bn层需先设trainable=false并推理校准；int8量化必须提供校准数据集并正确设置representative_dataset；加载后必须调用allocate_tensors()，输入输出需按quantization参数scale/zp手动转换dtype。
量化前必须确认模型是否支持 tf.lite.TFLiteConverter
不是所有 TensorFlow 模型都能直接量化。动态图（tf.function 未装饰的 eager 模式）、含自定义 tf.keras.layers.Layer 且未实现 get_config/from_config、或使用了不支持 ops（如 tf.py_function）的模型，在转换时会直接报错：Op is not supported for this conversion。
实操建议：
- 优先用
tf.keras.Model构建，避免子类化层中混用tf.Variable或非标准初始化逻辑 - 导出前务必调用
model.save('saved_model_dir', save_format='tf')，再用tf.lite.TFLiteConverter.from_saved_model('saved_model_dir')加载 —— 这比从KerasModel直接转换兼容性高得多 - 若需保留训练时的 BatchNorm 统计量，导出 SavedModel 前执行一次
model.trainable = False并跑几个 batch 的 inference，否则量化后 BN 层可能失效
INT8 量化必须提供校准数据集
仅设 converter.optimizations = [tf.lite.Optimize.DEFAULT] 不会触发真正的 INT8 量化；它默认只做 FP16 降级。要获得 INT8 模型，必须启用全整型量化并传入校准样本 —— 否则转换会静默失败或回退到 FP32。
实操建议：
- 校准数据只需 100–500 张有代表性的输入（例如 ImageNet 验证集的随机子集），但必须和推理时的数据分布一致：同尺寸、同归一化方式（如
(x - 127.5) / 127.5）、同 dtype（np.float32） - 用
converter.representative_dataset传入一个可迭代对象，不要返回 tuple 外壳 —— 正确写法是lambda : ([input_data[i:i+1] for i in range(len(input_data))])，而非lambda : [(input_data[i:i+1],)] - 若输入含多张图（batch > 1），校准数据也必须保持相同 batch size，否则量化参数计算失准
tf.lite.Interpreter 加载后必须调用 allocate_tensors()
很多用户在量化模型加载后直接 set_tensor() + invoke()，结果输出全为零或 shape 错误。这是因为 TFLite 的内存分配是显式的，未调用 allocate_tensors() 时，tensor buffer 为空。
实操建议：
- 顺序不能错：先
interpreter.allocate_tensors()，再interpreter.set_tensor(input_index, input_data)，最后interpreter.invoke() - 获取 input/output index 用
interpreter.get_input_details()[0]['index']，别硬编码数字；量化模型的 input dtype 很可能是np.int8，需按input_details['quantization']中的 scale/zp 手动转换浮点输入 - 如果模型含多个输入/输出，务必循环遍历
get_input_details()和get_output_details()，不能只取[0]
量化后精度掉点明显？先查 input_details['quantization'] 是否被忽略
常见现象：模型体积缩小 4×，但准确率暴跌 20%+。多数情况不是量化本身问题，而是推理时没按量化参数做输入适配 —— 比如模型期望 int8 输入，scale=0.00784, zp=-128，但代码里仍直接塞 np.float32 归一化后的值。
实操建议：
- 打印
input_details = interpreter.get_input_details()[0]，确认'dtype'是np.int8还是np.uint8，再用scale和zero_point反向转换：q_input = np.clip(np.round(float_input / scale) + zero_point, -128, 127).astype(np.int8) - 输出 tensor 同样需反量化：
float_output = (int8_output.astype(np.float32) - zero_point) * scale - 若用 TensorFlow Serving 部署量化模型，必须在
signature_def中声明输入为int8，否则 gRPC 请求会因类型不匹配被拒绝
真正麻烦的不是怎么量化，而是量化后每一步 tensor 的 dtype 和 scale/zp 必须全程对齐 —— 少一处转换，结果就不可信。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
