pytest-benchmark需显式声明benchmark参数并正确安装,用benchmark.pedantic控制预热与GC,group实现横向对比,CI中需确保插件加载且pytest≥6.0。

pytest-benchmark 安装后跑不起来,报 fixture 'benchmark' not found
这是最常见的一开始就卡住的问题:没启用插件或没写对函数签名。pytest-benchmark 不是自动激活的,它依赖 pytest 的插件机制,且测试函数必须显式声明 benchmark 参数。
- 确保用
pip install pytest-benchmark安装(不是pytest-bench或其他变体) - 测试函数签名必须带
benchmark参数,比如def test_something(benchmark):,不能漏、不能拼错 - 不要在
conftest.py里手动注册 fixture;插件会自动提供benchmarkfixture,只要安装了就能用 - 运行命令得是
pytest,不是python -m pytest(后者在某些环境路径下可能加载不到插件)
怎么写一个靠谱的 benchmark 测试,避免测出假数据
直接套 benchmark(func, *args) 很容易测偏——比如没控制输入规模、忽略 GC 干扰、或把 setup 时间混进耗时里。
- 用
benchmark.pedantic替代裸调benchmark:它能自动多次运行、预热、剔除离群值,更稳。示例:benchmark.pedantic(target_func, args=(x,), iterations=10, rounds=5) - 把初始化逻辑(如构造大列表、读文件)放到
setup里,别塞进被测函数:否则耗时包含准备开销,不是纯算法时间 - 加
gc=True(默认为True),让每次运行前强制 GC,避免内存积累影响后续轮次 - 别测
print或带 I/O 的函数——系统调度波动太大,结果不可比;专注 CPU-bound 或明确可控的场景
对比两个函数时,benchmark 和 benchmark.group 有什么区别
benchmark 是单点测量,benchmark.group 才是真正做横向对比的工具。不加 group,pytest-benchmark 默认按测试函数分组,你放十个 test_ 函数,它就打十张表,根本没法并排看。
- 给要对比的测试函数加相同
group名,比如都写benchmark.group = "json_load" - 再统一加
benchmark.subprocess = False(默认是False,但显式写出来防误改),保证所有测试跑在同一进程,减少启动开销干扰 - 输出里会出现 grouped table,每行一个函数,列是 mean/std/median,一眼看出谁快谁慢
- 注意:group 名必须字符串完全一致,大小写和空格都不能差,否则分到不同表里
CI 里跑 benchmark 报 ValueError: No benchmarks collected
CI 环境常禁用部分 pytest 插件,或 pytest 版本太低(pytest-benchmark 要求 pytest ≥ 6.0),也可能测试文件没被发现。
- 检查 CI 日志里有没有
pytest-benchmark-*开头的插件加载提示;没有就说明插件根本没加载 - 运行时加
-p pytest_benchmark强制启用插件:pytest -p pytest_benchmark tests/ - 确认测试文件名匹配 pytest 默认规则(
test_*.py或*_test.py),且函数名以test_开头 - CI 镜像若用 miniconda 或精简版 Python,可能缺
setuptools相关依赖,补装pip install importlib-metadata(旧 Python 需要)
真实项目里最容易被忽略的是:benchmark 结果受输入数据分布影响极大。同一段代码,测小 list 和测 100 万条 dict,性能拐点可能完全不同;不固定输入规模、不覆盖典型 case,数字再漂亮也没参考价值。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











