pytest本身不提供chunking功能，真正起作用的是pandas或Python标准库的分块读写能力；应将pd.read_excel()等大文件读取逻辑移至test函数内并显式分块，避免在fixture中加载导致MemoryError。
直接说结论：pytest 本身不提供 chunking 功能，所谓“pytest 的 chunking 技术”是误解；真正起作用的是 Python 标准库或 pandas 的分块读写能力，pytest 只负责调用和断言——关键在你怎么组织测试逻辑，而不是 pytest 自带什么黑科技。
为什么不能在 pytest.fixture 里直接 pd.read_excel() 大文件
因为 pd.read_excel() 默认把整个文件加载进内存，哪怕你只在 fixture 里读一次，也会触发 MemoryError 或拖慢整个测试套件启动。尤其当多个 test_ 函数依赖同一个大文件 fixture 时，pytest 默认 reuse（除非设 scope="function"），但问题不在复用，而在首次加载就崩。
- 错误现象：
MemoryError、测试进程卡死、CI 超时失败 - 根本原因：Excel 文件本质是 ZIP + XML，
openpyxl引擎解析时需解压并构建 DOM 树，内存占用常达文件体积的 3–5 倍 - 正确做法：把文件读取逻辑从 fixture 移到具体 test 函数内部，并强制分块
pd.read_csv() 和 pd.read_excel() 的 chunksize 行为差异
两者都支持 chunksize 参数，但底层机制不同，影响测试编写方式：
-
pd.read_csv()：chunk 是纯文本行切片，稳定可控；chunksize=10000就真读 10000 行（忽略 header） -
pd.read_excel()：chunk 是按工作表行数切分，但受engine='openpyxl'解析粒度限制；实际每块可能略多或略少，且首块含 header，后续块不含 - 兼容性注意：
chunksize在read_excel()中仅对openpyxl有效，xlsxwriter不支持读，xlrd已弃用且不支持新格式
测试中安全使用分块读取的三原则
不是加个 chunksize 就万事大吉，得配合验证逻辑设计：
- 别在单个
assert里比对整块 DataFrame —— 改用chunk.equals(expected_chunk)或逐列校验统计量（如chunk['amount'].sum()） - 避免跨 chunk 的状态依赖 —— 比如“第 2 块的 ID 必须大于第 1 块的最大 ID”，这种断言要拆成独立检查点，否则 chunksize 调整后会失效
- 显式关闭资源：用
with pd.read_excel(...) as reader:确保文件句柄释放，尤其在 Windows 下不关可能引发 PermissionError
一个可直接抄的 pytest 测试片段
验证某 CSV 文件前 5 万行的数值列是否全为正数：
def test_large_csv_positive_values(tmp_path):
file_path = tmp_path / "huge_data.csv"
# ……（此处生成测试用大文件，略）
<pre class="brush:php;toolbar:false;">chunk_size = 10000
is_all_positive = True
for chunk in pd.read_csv(file_path, chunksize=chunk_size):
if not (chunk["value"] > 0).all():
is_all_positive = False
break
assert is_all_positive, "发现非正数值"
这个写法不缓存任何 chunk，内存占用恒定；如果需要更细粒度断言（比如每块 sum 应等于某值），就把 chunk["value"].sum() 存进列表再 assert，但注意别让列表本身撑爆内存。
最易被忽略的一点：chunksize 不是越大越好。设成 100 万行可能反而比 1 万行慢——因为 pandas 内部类型推断在大 chunk 上开销剧增，实测拐点常在 1 万～5 万之间，建议先用 head -n 100000 截小样本地跑 profile。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
