
本文介绍在物理仿真等大数据场景中,如何避免加载整个文件即可快速读取指定列或行区间,重点推荐 parquet 格式及其在 polars 中的高效用法。
本文介绍在物理仿真等大数据场景中,如何避免加载整个文件即可快速读取指定列或行区间,重点推荐 parquet 格式及其在 polars 中的高效用法。
当仿真数据规模达到 1–2 GB 甚至更大时,传统 pickle 或 CSV 虽然易用,但存在明显瓶颈:pickle 必须反序列化全部对象才能访问任意字段,而 CSV 虽支持列筛选(如 pandas.read_csv(usecols=...)),却缺乏内置索引、压缩与分块元数据,导致 I/O 效率低、内存占用高、随机访问慢。
此时,Apache Parquet 是兼顾性能、生态与易用性的理想选择。它是一种开源的列式存储格式,专为分析型工作负载设计,具备以下核心优势:
- ✅ 列裁剪(Column Pruning):仅读取请求的列,跳过其余列的磁盘 I/O 和解码;
- ✅ 行组(Row Group)与页级索引:支持按行范围(如
scan+filter+limit)高效切片,无需全量加载; - ✅ 内置压缩与编码(如 dictionary、delta encoding):显著降低存储体积与带宽压力;
- ✅ Schema 保留与类型安全:完整保存数据类型、空值标记、时区等语义信息;
- ✅ 跨语言兼容:Python(Polars / PyArrow)、R、Spark、Trino 等均原生支持。
以 Polars 为例(其底层深度优化 Parquet 读写),只需几行代码即可实现“按需加载”:
import polars as pl
# ✅ 仅读取指定列(如 'time', 'velocity_x', 'pressure')
df = pl.scan_parquet("sim_data.parquet").select([
"time", "velocity_x", "pressure"
]).collect() # lazy evaluation,真正执行时才读取所需列
# ✅ 结合过滤与切片:只加载满足条件的前 10,000 行
df_subset = (
pl.scan_parquet("sim_data.parquet")
.filter(pl.col("time") > 10.5)
.limit(10_000)
.select(["time", "temperature"])
.collect()
)
# ✅ 写入优化:启用字典编码 + ZSTD 压缩(减小体积、提升读速)
pl.DataFrame(your_simulation_data).write_parquet(
"sim_data.parquet",
compression="zstd",
use_pyarrow=True, # 启用 Arrow 后端以支持更多高级选项
statistics=True # 写入 min/max 等统计信息,加速谓词下推
)
⚠️ 注意事项:
- 避免将 Parquet 用于高频小更新场景(它是面向批量追加/只读优化的);
-
.scan_parquet()返回 LazyFrame,务必配合.collect()或.fetch()触发执行,否则无实际 I/O; - 若需复杂查询(如多表关联、事务、实时写入),则应转向 SQLite(轻量嵌入式)或 DuckDB(分析优先的 OLAP 数据库),而非强求“非数据库方案”;
- 对于超大规模(>100 GB)或分布式分析,可结合 Delta Lake 或 Iceberg 进行版本管理与 ACID 支持。
总结来说:对于单机科学计算场景,Parquet + Polars 是当前最平衡的“类数据库体验”替代方案——它不引入服务依赖、零配置启动、内存友好、API 简洁,且性能远超 pickle/CSV。在仿真数据持续增长的背景下,尽早迁移到 Parquet 不仅解决当下卡顿问题,更为后续分析流水线(如特征工程、可视化、模型训练)打下高效、可扩展的数据基础。










