pytorch量化推理不强制要求torchscript，但实际部署必须；静态量化需先script化模型以支持图级分析与重写，动态量化仅限python内使用；推荐torch.jit.script处理含控制流模型；quantize_jit可端到端生成无python依赖的量化模型。
PyTorch量化推理必须用 TorchScript 吗？
不是必须，但实际部署中基本绕不开。PyTorch 的 torch.quantization 量化流程最终要导出为 torch.jit.ScriptModule 才能脱离 Python 环境运行（比如在 C++、移动端或 Triton 上）。直接对 nn.Module 做动态量化（quantize_dynamic）只能在 Python 中用，且不支持所有算子；而静态量化（quantize_static）必须走 torch.jit.trace 或 torch.jit.script 流程才能插入 observer 和 fake-quant node。
静态量化前为什么必须先 Script 化模型？
因为 PyTorch 量化依赖图级分析和重写：observer 插入、fake-quant 节点替换、融合（如 Conv+BN+ReLU）、以及最终的 quant/dequant 节点插入，这些操作都在 TorchScript IR 层完成。原始 Python 模块有控制流、闭包、动态属性访问等，TorchScript 无法安全分析——所以必须先获得一个可追踪/可脚本化的模型表示。
-
torch.jit.trace适合无条件分支、输入 shape 固定的模型（如典型 CNN），但会丢失 if/for 等逻辑 -
torch.jit.script支持控制流，但要求模型代码能被静态分析（比如不能用isinstance判别模块类型，不能依赖未标注的全局变量） - 推荐优先用
torch.jit.script，尤其当模型含if、for或自定义 forward 逻辑时
量化后保存的 .pt 文件为什么加载报错 “No module named ‘torch.quantization’”？
这是常见误区：TorchScript 序列化的是模型结构和参数，但默认**不打包量化相关 Python 类（如 torch.quantization.MinMaxObserver）**。一旦模型里残留未融合的 observer 或 fake-quant node，加载时就会因找不到定义而失败。
- 必须调用
model.eval()+torch.quantization.convert(model, inplace=True)完成 observer 移除和算子替换（例如把Conv2d→QuantizedConv2d） - 确保没漏掉子模块：如果模型含
self.branch_a和self.branch_b，需显式对每个子模块调用convert，或用torch.quantization.quantize_jit一站式处理 - 验证是否成功：加载后检查
type(model.conv1)是否变成torch.nn.intrinsic.quantized.ConvBnReLU2d或类似量化类
如何用 torch.quantization.quantize_jit 一步到位？
这是最稳妥的端到端路径，它自动完成 Script → fuse → prepare → convert → export 全流程，且输出纯量化 ScriptModule，无 Python 依赖。
# 假设 model 是已 script 化的模块
model = torch.jit.script(MyModel())
model.eval()
<h1>准备校准：跑几个 batch 数据</h1><p>calib<em>data = [(torch.randn(1,3,224,224), torch.randint(0,1000,(1,))) for </em> in range(32)]
model = torch.quantization.quantize_jit(
model,
{'observed_inputs': calib_data},
backend='fbgemm' # x86 用 'fbgemm'，ARM 用 'qnnpack'
)</p><h1>保存（此时已完全量化，无 observer）</h1><p>model.save('quantized_model.pt')</p><h1>加载（无需 import torch.quantization）</h1><p>loaded = torch.jit.load('quantized_model.pt')
</p>
注意：quantize_jit 内部强制使用 torch.quantization.default_qconfig，若需自定义 observer（比如 PerChannelMinMaxObserver），得退回到手动 prepare + convert 流程，且必须保证 prepare 阶段也基于 ScriptModule。
量化真正难的不是跑通，是校准数据分布是否贴近真实 inference 场景——用训练集子集校准，可能让模型在测试集上掉点；而用少量真实边缘数据（如手机拍的模糊图）校准，往往更鲁棒。这点容易被忽略，但比选 backend 或 qconfig 影响更大。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
