pytorch模型剪枝与量化需严格遵循流程：先逐层剪枝并调用prune.remove，再经prepare校准后convert量化；剪枝须同步处理bn层，量化须避免动态量化误用，且必须先剪枝后量化以保障精度。
PyTorch模型剪枝：用 torch.nn.utils.prune 时别直接 prune.global_unstructured
直接调用 prune.global_unstructured 容易导致模型结构错乱，尤其当模型含非线性层（如 nn.ReLU）、跳连（如 ResNet 的 shortcut）或自定义 forward 逻辑时。它会无差别地把所有指定模块的参数拉平剪枝，破坏通道对齐关系，后续推理可能报 size mismatch 错误。
更稳妥的做法是按模块逐层剪枝，并保持结构一致性：
- 优先使用
prune.l1_unstructured或prune.random_unstructured对单个nn.Linear或nn.Conv2d模块操作 - 对 Conv 层剪枝后，务必同步修剪其后续 BatchNorm 的
weight和bias（否则 BN 统计失效），可用prune.custom_from_mask手动传入 mask - 剪枝后调用
prune.remove—— 否则forward仍会计算被“遮蔽”的权重，不真正减少计算量
示例：修剪一个 conv1 层并清理
prune.l1_unstructured(model.conv1, name='weight', amount=0.2) prune.remove(model.conv1, 'weight')
量化前必须先完成校准（calibration），且不能跳过 torch.quantization.prepare
跳过 prepare 直接调用 convert 会导致量化参数（scale/zero_point）全为默认值，模型精度崩塌。PyTorch 量化不是“一键转换”，而是三步闭环：configure → observe → convert。
prepare 的作用是插入 Observer 模块（如 MinMaxObserver），在少量真实数据（通常 100–500 batch）上收集激活和权重的动态范围；没这步，convert 就没依据生成有效量化参数。
- 校准数据必须覆盖典型输入分布（不能用全零或随机噪声）
- 推荐用
torch.quantization.get_default_qconfig('fbgemm')（x86）或'qnnpack'（ARM），避免用'default'（已弃用） - 若模型含自定义算子或非标准分支（如条件控制流），需手动注册
QuantStub/DeQuantStub，否则对应路径不参与量化
动态量化（torch.quantization.quantize_dynamic）只适用于 CPU，且仅量化权重
动态量化不记录 activation 的分布，运行时按 tensor 实时计算 scale/zero_point，因此无法部署到移动端或需要确定性延迟的场景。它只对 nn.Linear 和 nn.LSTM 的权重做 int8 量化，bias 仍为 float，且不触碰任何 activation——这意味着整个前向过程仍大量使用浮点运算，实际加速有限。
- 适合快速验证模型压缩效果，但不能代表真实部署性能
- 无法与
torch.jit.trace兼容（会报Cannot insert quantize node） - 若想量化 activation + 权重，必须走静态量化流程（
prepare+convert）
剪枝+量化串联时，顺序错了模型就废
必须先剪枝、再量化，不能反过来。原因很直接：量化操作依赖完整权重分布来统计 min/max，而剪枝后的稀疏权重会显著扭曲分布（比如大量零值拉低 min，抬高 max），导致 observer 误判，最终量化误差放大。
- 剪枝后记得调用
model.eval()和torch.no_grad()再进入量化流程 - 如果剪枝用了结构化方式（如 channel-wise），量化前建议先
prune.remove掉冗余参数，否则 observer 可能观测到“被遮蔽但未删除”的零值 - 混合操作后务必用原始验证集跑一遍 accuracy，仅看 loss 下降容易误判——有些模型 loss 不变但 top-1 准确率掉 5% 以上
真正卡点不在 API 调用，而在每一步是否改变了 tensor 的语义含义。比如 prune.remove 是物理删除，prune.apply 是逻辑遮蔽；prepare 插入的是可学习 observer，convert 替换的是不可逆的量化算子。这些差异不细看文档很容易踩坑。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
