
本文介绍如何在不加载整个文件的前提下快速读取大型数据集的指定列或行片段,重点解析 parquet 格式在 polars 和 pyarrow 生态中的列裁剪(column pruning)、行组过滤(row group filtering)及内存映射能力,显著降低 i/o 开销与内存占用。
本文介绍如何在不加载整个文件的前提下快速读取大型数据集的指定列或行片段,重点解析 parquet 格式在 polars 和 pyarrow 生态中的列裁剪(column pruning)、行组过滤(row group filtering)及内存映射能力,显著降低 i/o 开销与内存占用。
当物理仿真数据规模突破 1–2 GB,传统 pickle 或 CSV 方案迅速暴露瓶颈:pickle 全量反序列化阻塞交互体验,CSV 虽支持 usecols 列筛选,但缺乏类型元信息、压缩能力弱、且无法跳过无关行组(row groups),导致 I/O 效率低下。
此时,Apache Parquet 成为兼顾性能、兼容性与工程简洁性的首选——它并非数据库,却具备数据库级的按需访问能力。其核心优势源于列式存储 + 元数据驱动 + 压缩感知三位一体设计:
✅ 列裁剪(Column Pruning):读取时仅解码目标列,跳过其余所有列的数据块。例如一个含 50 列的仿真结果表,若只需 time, velocity_x, pressure 三列,Parquet 可跳过其余 47 列的磁盘读取与解压,内存占用直降 90%+。
✅ 行组过滤(Row Group Filtering):Parquet 将数据按行组(默认约 128MB)分块存储,每个行组内嵌统计信息(min/max、null count)。借助谓词下推(predicate pushdown),可在读取前跳过不满足条件的整行组。例如 filter=(pl.col("time") > 100.0) 可直接跳过 time 最大值 ≤100 的所有行组。
✅ 高效压缩与编码:默认采用 Snappy(平衡速度/压缩比)或 ZSTD(高压缩率),配合字典编码、RLE 等列特化编码,进一步减少磁盘 I/O 和网络传输量。
以下是在 Polars 中的典型用法示例:
import polars as pl
# ✅ 仅读取指定列(自动列裁剪)
df_subset = pl.read_parquet(
"simulation_2026.parquet",
columns=["time", "velocity_x", "temperature"]
)
# ✅ 带过滤的按需读取(谓词下推 + 行组跳过)
df_filtered = pl.read_parquet(
"simulation_2026.parquet",
filters=pl.col("step") >= 5000, # 自动下推至 Parquet reader
columns=["position_x", "force_z"]
)
# ✅ 流式分块处理超大文件(避免全量加载)
for chunk in pl.scan_parquet("huge_simulation.parquet").filter(
pl.col("region") == "core"
).select(["t", "u", "v"]).collect_stream():
process_chunk(chunk) # 每次仅持有当前 chunk 在内存中
⚠️ 注意事项:
-
写入阶段即决定性能上限:建议使用
use_dictionary=True,compression='zstd', 并合理设置row_group_size(如100_000行)以优化后续读取粒度; -
Schema 一致性至关重要:Parquet 依赖强 schema,首次写入后避免随意增删列;可启用
use_pyarrow=True获取更严格的类型校验; -
对比其他格式:
- HDF5:支持子集读取,但跨语言兼容性差、并发读写复杂;
- Feather:极快但无压缩、无谓词过滤、不支持流式;
- SQLite:虽轻量,但 SQL 解析开销 + B-tree 随机访问延迟仍高于 Parquet 的顺序列块读取。
总结而言,对于 1–10 GB 级科学仿真数据,Parquet 是“非数据库方案”中最成熟、最高效的选择。它无需部署服务、零配置运维,却通过列式语义与智能元数据,在 Polars / PyArrow / Spark / DuckDB 等主流工具链中实现亚秒级子集响应——真正让“只读所需”从理念落地为日常实践。










