pytorch内置prune模块选策略需按层类型与目标匹配：l1unstructured适用于线性层或稀疏度验证；lnstructured（n=2）优先用于conv2d以保持通道结构、支持硬件跳过；randomunstructured应避免用于卷积层以防破坏局部性；customfrommask可结合通道重要性得分实现语义保留裁剪，但部署前必须调用prune.remove()固化权重并清理掩码属性，否则state_dict保存/加载会出错或onnx导出失败。
PyTorch内置prune模块怎么选策略？
PyTorch的torch.nn.utils.prune提供了开箱即用的裁剪方法，但不同策略对模型结构和训练流程影响差异很大。直接用l1_unstructured最简单，但它只按权重绝对值大小砍，不考虑通道依赖；而ln_structured（比如n=2）会整行/整列裁剪，更适合卷积层——否则裁掉零散权重后，GPU无法真正跳过计算。
常见错误是给Conv2d层用random_unstructured：它破坏了空间局部性，推理时仍要加载全部通道，参数量降了但显存和延迟几乎不变。
-
l1_unstructured适合线性层或快速验证稀疏度 -
ln_structured（n=2）优先用于Conv2d，能触发硬件级跳过 - 想保留通道语义？用
custom_from_mask配合自己算的通道重要性得分
裁剪后模型还能直接保存和加载吗？
不能直接torch.save(model.state_dict())——因为prune会在原模块上添加_mask缓冲区和_original_weight属性，而state_dict()默认包含这些中间变量，导致加载时维度错乱或找不到键。
正确做法是调用torch.nn.utils.prune.remove()，它会把掩码应用到原始权重上，并删掉所有prune专用属性。这个操作不可逆，且必须在训练结束后、部署前做。
- 训练中保存检查点？用
model.state_dict()+ 记录prune配置（如哪层用了什么策略） - 部署前导出：先
prune.remove(model, 'weight')，再torch.save(model.state_dict(), ...) - 如果跳过
remove()就转ONNX，会报AttributeError: 'PrunedTensor' object has no attribute 'size'
裁剪后的模型推理变慢了？为什么？
稀疏模型不一定快，尤其当稀疏度低于60%时。PyTorch默认不启用稀疏张量加速，prune生成的是普通张量+掩码，计算时仍执行完整矩阵乘，只是结果被置零。
真要提速，得满足两个条件：一是用structured裁剪保证通道/神经元级稀疏，二是改用支持稀疏调度的后端（如Triton自定义kernel），或者导出为支持稀疏推理的格式（如TVM编译时启用sparse_dense优化）。
- 测试发现：ResNet-18在50%稀疏度下，CPU推理反而慢3%，因为分支预测失败增多
- GPU上只有裁剪比例＞70%且用
ln_structured时，才可能看到10%以上吞吐提升 -
prune.global_unstructured跨层统一裁剪，容易让某一层只剩1个通道，引发BN层数值不稳定
微调（fine-tuning）裁剪后的模型要注意什么？
裁剪不是终点，而是起点。直接冻结被裁剪的权重会导致梯度更新失效——PyTorch的prune默认把掩码设为requires_grad=False，但反向传播时仍会计算这些位置的梯度，浪费显存。
必须手动屏蔽梯度：在optimizer.step()前加model.apply(lambda m: setattr(m, 'weight', m.weight * m.weight_mask) if hasattr(m, 'weight_mask') else None)，或者更稳妥地重写forward，用torch.where(mask, weight, torch.zeros_like(weight))显式控制。
- 推荐方案：裁剪后用
prune.custom_from_mask重建，把mask设为buffer而非parameter，避免梯度污染 - 学习率要降到原来的1/5，否则残留权重震荡剧烈
- BN层统计量需重新校准，用
model.train()跑一个epoch的无梯度前向传播
实际部署时最容易被忽略的是：裁剪后的模型在不同PyTorch版本间兼容性差，prune.remove()在1.12和2.0里行为不一致，务必在目标环境验证导出后的模型能否正确加载和运行。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
