优先用pyarrow的parquetfile逐行组读取，配合columns和filters按需加载；先查metadata和schema做预判，避免全量解压。
read_parquet 读大文件时内存爆掉，怎么办？
直接用 pandas.read_parquet() 加载几十 GB 的 Parquet 文件，大概率触发 MemoryError 或系统卡死——它默认把整个文件解压、反序列化进内存，不区分行组或列。真正可行的路径是「按需读取」：要么分块（chunk），要么投影（只读特定列），要么配合 PyArrow 原生接口精细控制。
- 优先用
pyarrow.parquet.ParquetFile替代pandas.read_parquet()，它暴露行组（RowGroup）、列元数据和读取范围等底层能力 - 设置
use_pandas_metadata=True（PyArrow ≥ 12）可保留 pandas dtypes 和 category 信息，否则可能全转成 string 或 int64 - 避免在
read_table()中传入columns=...同时又设filters=...却没建索引——Parquet 的谓词下推依赖列统计信息，缺失时仍会加载整行组
只读几列 + 按条件过滤，怎么写最省内存？
用 pyarrow.parquet.read_table() 配合 columns 和 filters 是标准做法，但行为受文件写入方式影响极大。如果原始 Parquet 是用 pyarrow.write_table(..., use_dictionary=True) 写的，字符串列过滤会快很多；若用 spark.write.parquet() 且未启用 column stats，则 filters 可能完全不生效。
- 过滤语法必须用嵌套元组：例如
[("user_id", ">", 1000), ("status", "==", "active")]，不能写成字典或 Pandas query 风格 - 列名大小写敏感，且必须与 Parquet schema 中的字段名完全一致（可用
parquet_file.schema查看） - 对时间列过滤前，确认其物理类型是
timestamp[us]还是int96；后者在新版本 PyArrow 中已弃用，但老文件仍存在，filters可能静默失败
逐行组读取并流式处理，代码长什么样？
当单个行组仍超内存（比如每组 500MB），就得手动遍历 ParquetFile.row_groups，逐个调用 read_row_group()。这时你完全掌控解码时机，还能在循环内做聚合、写磁盘、发网络请求等操作，不积累中间 DataFrame。
import pyarrow.parquet as pq
<p>parquet_file = pq.ParquetFile("big_data.parquet")
for i in range(parquet_file.num_row_groups):
table = parquet_file.read_row_group(i, columns=["id", "value"], use_pandas_metadata=True)</p><h1>→ 此时 table 是 pyarrow.Table，不是 pandas.DataFrame</h1><pre class="brush:python;toolbar:false;"># 如需转 pandas：df = table.to_pandas()
process_batch(table)
-
read_row_group()返回pyarrow.Table，比to_pandas()轻量得多；除非后续必须用 Pandas API，否则别急着转换 - 行组编号
i不代表物理顺序？错——Parquet 规范保证行组严格按写入顺序排列，可安全用于分片或断点续读 - 若文件有 Hive-style partitioning（如
year=2023/month=04/），用dataset = pq.ParquetDataset(...)更合适，它自动合并 schema 并支持跨目录过滤
PyArrow 版本差异导致读取失败，常见坑有哪些？
PyArrow 从 8.x 升到 12.x，read_table() 默认行为变了：旧版默认 use_threads=True 且忽略列缺失，新版默认单线程、严格校验 schema。升级后出现 ArrowInvalid: Column 'xxx' not in schema 或速度骤降，八成是这个原因。
- 显式传参：加
use_threads=True和coerce_int96_timestamp_unit="us"（针对老 Spark 输出）可兼容大部分场景 - 遇到
ArrowNotImplementedError: Unsupported logical type TIME？说明文件含 Parquet 逻辑类型 TIME，而当前 PyArrow 版本未启用对应解码器，需升级到 ≥ 11.0 或改用convert_options手动映射 - Windows 上用 conda 安装的 PyArrow 偶尔缺
snappy支持，读 snappy 压缩文件会报IOError: Could not open file ... unsupported compression: snappy，换 pip 安装或指定use_legacy_dataset=False绕过
实际处理超大 Parquet 时，最关键的不是“怎么读”，而是“怎么避免读”——先用 parquet_file.metadata 查统计信息，用 parquet_file.schema 看字段类型，再决定是否需要读、读哪几块、要不要重分区。这些元数据通常只有 KB 级，却能帮你避开 90% 的无效加载。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
