推荐用fvcore而非thop:fvcore支持PyTorch 1.8+及新算子,能准确区分算子类型并同时输出FLOPs和参数量,而thop长期未更新、不兼容torch.compile且单位易混淆。

用 torchprofile 快速估算 FLOPS(不依赖实际运行)
PyTorch 本身不提供官方 FLOPS 统计工具,torchprofile 是目前最轻量、兼容性好且无需修改模型代码的第三方方案。它基于计算图静态分析,不触发 forward,适合快速评估。
安装后直接调用:
pip install torchprofile
关键点:
-
torchprofile默认只统计卷积、线性、归一化等主流算子,不计入 Python 控制流或非 tensor 操作 - 必须传入真实 shape 的
input(如torch.randn(1, 3, 224, 224)),batch size 影响 FLOPS 线性缩放 - 对自定义
forward中含if/for或动态 shape(如torch.where变长输出)会低估——此时需手动拆解分支或改用fvcore
示例:
from torchprofile import profile_macs<br>macs = profile_macs(model, inputs=(x,)) # 返回浮点运算次数(MACs),约等于 2×FLOPs
用 fvcore 获取更细粒度的 FLOPS 和参数量(推荐生产环境)
fvcore 是 Facebook 官方维护的工具,支持 PyTorch 1.8+,能区分不同算子类型(如 conv2d vs. matmul),并同时输出参数量(#Params)和 FLOPs。
安装与基本用法:
pip install fvcore<br>from fvcore.nn import FlopCountAnalysis, parameter_count<br>flops = FlopCountAnalysis(model, inputs)<br>print(f"GFLOPs: {flops.total() / 1e9:.2f}")<br>params = parameter_count(model)<br>print(f"MParams: {sum(params.values()) / 1e6:.2f}")
注意:
-
FlopCountAnalysis默认忽略torch.no_grad()外的梯度计算,但若模型含torch.autograd.grad或自定义 backward,结果不准 - 对
nn.Sequential内嵌套模块,需确保每个子模块有明确__name__;否则部分层可能被合并统计 - 若模型含
torch.jit.script或torch.compile,必须在编译前调用FlopCountAnalysis,否则报错TracingCheckError
为什么 thop 不再推荐?
thop 曾是主流选择,但现在存在明显缺陷:
- 长期未更新,不支持 PyTorch 2.0+ 的
torch.compile和新算子(如nn.MultiheadAttention的 fused impl) - 对自定义
__call__或重载forward的模块容易漏计(例如某些 ViT 实现中 patch embedding 用unfold而非Conv2d) - 返回的
total_ops单位是 “op”,不是标准 FLOPs,需手动 ×2 才接近真实浮点运算量,易混淆
如果你项目里还在用 thop,建议尽快迁移到 fvcore,尤其当模型含 attention、dynamic convolution 或量化感知训练(QAT)模块时。
参数量统计的常见误判点
看似简单的 parameter_count 其实有几个隐蔽坑:
-
nn.BatchNorm2d的running_mean和running_var默认被计入参数量,但推理时它们不参与计算——若你只关心“可学习参数”,应过滤掉requires_grad == False的 buffer - 使用
torch.compile后,模型对象可能被包装为CompiledFunction,直接传给parameter_count会报错,需先取model._orig_mod - LoRA 微调后,
lora_A/lora_B是新增参数,但原始权重仍存在;parameter_count会全部统计,需手动减去 base model 的原始参数量才能得到“增量参数”
真正要对比模型规模时,别只看总参数量数字——确认是否包含 buffers、是否去重 shared weights、是否排除 embedding lookup 表(如 LLM 中的 lm_head 常与 embed_tokens 共享)。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











