如何提升Python自动化测试的执行速度_通过pytest-xdist实现多进程并行-Python教程-PHP中文网

pytest -n auto 能运行但非最优，真正提速关键在于测试代码适配多进程：避免资源争用、确保 fixture 隔离、合理设置并发数与分发策略，并保证每个测试独立洁净。

如何提升python自动化测试的执行速度_通过pytest-xdist实现多进程并行

直接上结论：用 pytest -n auto 能跑起来，但大概率不是最快、最稳的；真正提速的关键不在开多少进程，而在让每个测试不抢资源、不互相污染。

为什么 `pytest -n 4` 有时比单进程还慢

常见现象是：命令卡在 Waiting for workers，或部分 worker 长时间空闲，CPU 却没跑满。根本原因不是 xdist 本身慢，而是测试代码没适配多进程环境：

多个 test 同时写同一个 SQLite 文件 → 报 sqlite3.OperationalError: database is locked
conftest.py 里用 @pytest.fixture(scope="session") 初始化了全局缓存字典，结果被不同 worker 反复覆盖
某个 test_heavy.py 文件里塞了 180 个耗时用例，xdist 默认按文件分发，它独占一个 worker，拖垮整体进度
Windows 上用 spawn 启动子进程，而主模块里直接 import 了 torch 或 cv2，触发 AttributeError: module '__main__' has no attribute '__file__'

怎么让 fixture 在每个 worker 中真正独立

默认的 scope="session" fixture 并不会“共享一份”，而是主进程执行一次，再尝试 pickle 传给子进程 —— 一旦 fixture 返回数据库连接、线程池、临时目录句柄等不可序列化对象，就直接报 PicklingError。

正确做法是显式利用 worker_id 构造隔离实例：

Secure Python Code Sandbox

安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。

下载

import tempfile
import sqlite3
import pytest
<p>@pytest.fixture(scope="session")
def temp_db(request):</p><h1>每个 worker 拿到唯一 ID，比如 'gw0', 'gw1'</h1><pre class="brush:php;toolbar:false;">worker_id = request.config.workerinput["workerid"]
db_path = tempfile.mktemp(suffix=f"_{worker_id}.db")

conn = sqlite3.connect(db_path)
conn.execute("CREATE TABLE IF NOT EXISTS logs (msg TEXT)")
yield conn
conn.close()
# 注意：这里不删文件，由 tmp_path 自动清理更安全

别依赖 tmpdir，改用 tmp_path（pathlib.Path），它天然支持多进程隔离
避免在 conftest.py 的 session/module scope 里做非幂等操作，比如修改 os.environ 或写配置文件
如果必须共享只读数据（如测试用 JSON Schema），用 scope="session" + 返回 dict/str 等可序列化类型即可

如何选对并发数和分发策略

-n auto 是个幻觉：它调用 os.cpu_count()，但在笔记本上开满核常因 I/O 或内存带宽瓶颈反而变慢；对 HTTP/DB 类 I/O 密集型测试，-n 2 往往比 -n 8 更稳。

I/O 密集型（API、DB、文件读写）→ 用 pytest -n $(($(nproc) / 2))（Linux/macOS）或 pytest -n 2（Windows）
CPU 密集型（加密、数值计算）→ 可接近 os.cpu_count()，但建议加 --max-worker-restart=2 防止单点崩溃中断全部
想打破“按文件分发”的粗粒度限制 → 改用 --dist=loadgroup + 在测试函数上加 @pytest.mark.xdist_group(name="api") 手动分组
调试时务必加 --tb=short --log-level=INFO，否则日志混在一起根本分不清哪个 worker 出的错