答案是启用pyarrow-dataset后端：需升级PyArrow≥12.0.0，显式指定engine="pyarrow-dataset"，并配合filters、columns、filesystem等参数实现谓词下推、列裁剪和S3并发优化。
Parquet读取变慢？先确认是否启用了PyArrow 12+和Pandas 2.0的pyarrow.dataset后端
默认情况下，Pandas 2.0仍用旧的pyarrow.parquet.ParquetFile路径读取单文件，无法自动利用pyarrow.dataset的并行扫描、谓词下推和列裁剪能力。必须显式启用新后端才能生效。
- 检查当前PyArrow版本：
pip show pyarrow，低于12.0.0则升级：pip install --upgrade "pyarrow>=12.0.0" - 读取时强制使用新后端：
pd.read_parquet("data.parq", engine="pyarrow-dataset") - 若遇
ValueError: engine 'pyarrow-dataset' not supported，说明Pandas未编译支持该引擎——需重装Pandas：pip install --force-reinstall --no-deps pandas（确保PyArrow已先装好）
如何让read_parquet跳过无关分区和列？
传统方式读整个目录再用query()过滤，实际已把所有数据加载进内存；用pyarrow-dataset后端可把过滤逻辑下推到扫描层，大幅减少I/O和内存占用。
- 对分区表（如
year=2023/month=04/），直接传入filters参数：pd.read_parquet("s3://bucket/logs/", filters=[("year", "==", 2023), ("month", ">=", 4)], engine="pyarrow-dataset") - 只读指定列（尤其宽表场景）：
pd.read_parquet("data.parq", columns=["user_id", "event_time"], engine="pyarrow-dataset") - 注意：
filters仅对目录结构中的分区字段有效，普通列过滤仍需靠use_nullable_dtypes=True配合后续query()，但至少避免了全列反序列化
dtype自动推断不准？关闭它，用schema显式声明
Pandas 2.0默认开启use_nullable_dtypes=True，但对Parquet中嵌套或混合null类型（如INT32 + nulls），仍可能推断出Int64以外的类型，导致后续计算异常或内存浪费。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 获取真实schema：
import pyarrow.dataset as ds; schema = ds.dataset("data.parq").schema - 传入
dtype映射（键为列名，值为Pandas dtype或PyArrow type）：pd.read_parquet("data.parq", dtype={"score": "Int64", "tag": "string"}, engine="pyarrow-dataset") - 更稳妥的做法是用
pyarrow先读schema，再转成Pandas兼容格式：pa_type.to_pandas_dtype()，避免手动写错类型名
为什么S3路径读取卡住？检查filesystem配置和线程数
PyArrow Dataset默认用单线程访问S3，且不复用连接，小文件多时延迟明显。Pandas 2.0未封装这些底层调优项，需手动传参。
- 显式传入
filesystem实例（推荐s3fs）：import s3fs; fs = s3fs.S3FileSystem(); pd.read_parquet("s3://bucket/data/", filesystem=fs, engine="pyarrow-dataset") - 控制并发扫描数：
pd.read_parquet("data/", use_threads=True, num_threads=8, engine="pyarrow-dataset")（注意：num_threads仅在use_threads=True时生效） - 若用AWS CLI凭证，确保
AWS_PROFILE或~/.aws/credentials已就位；s3fs默认不读CLI配置，需加anon=False并设profile_name
真正起效的关键不在“用不用新特性”，而在于是否绕开了Pandas封装层，直接把PyArrow Dataset的能力透传进来——漏掉engine="pyarrow-dataset"或没配filesystem，其他优化基本白做。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
