默认engine="c"导致read_csv变慢，因其逐行解析、动态类型推断、频繁创建python对象，引发高cpu和gc压力；不显式指定engine="pyarrow"或filters等参数，无法发挥parquet加速优势；apply()比agg()慢5–10倍因前者触发万次python调用，后者走cython向量化路径。
pd.read_csv() 默认变慢，不是因为 Pandas 2.0 “退步”了，而是它仍沿用 engine="c" 这个硬编码的 fallback 路径——它逐行解析、动态推断每列类型、频繁构造 Python 对象，尤其在混合类型列或缺失值多时，CPU 和 GC 压力直接拉满。
Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本，属于3.14系列的第二个维护更新。该版本包含了18项修复，重点解决了多进程、数据类及正则表达式等模块的回归问题，并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式（移除GIL）正式获得官方支持，是Python发展的重要里程碑。
为什么 engine="c" 在大文件上特别吃力
默认引擎不是“可开关”的配置项，而是一套固定执行逻辑：
- 每读一行就检查字段类型（int？float？str？null？），1200 万行就是 1200 万次类型判定
- 遇到 object 列（比如城市名、日志文本）就为每个值创建独立 Python 字符串对象，内存碎片+GC 频繁触发
- 所有中间结构都在 Python 层组装，无法利用现代 CPU 缓存或 SIMD 指令
- 不支持列裁剪、谓词下推、多线程 I/O，纯单线程阻塞式加载
pd.read_parquet() 不指定 engine="pyarrow" 就等于没加速
很多人装了 pyarrow 就以为自动生效，实际不是：
- Pandas 2.0 默认 fallback 到 fastparquet，尤其在未显式传参时
- fastparquet 对 Spark 写出的 Parquet 兼容性差，解码慢，且不支持 zstd/snappy 的高效并行解压
- 即使文件本身支持谓词下推，不写 filters=[(...)] 参数，Pandas 就不会跳过任何行组，全量加载再过滤
- use_threads=True 在 NFS 或容器环境下反而导致线程争抢，CPU 利用率低但耗时更长
GroupBy 中 apply() 为什么比 agg() 慢 5–10 倍
这不是数据量问题，是调用模型本质不同：
- df.groupby('key').apply(...) 把每一组都包装成 Series 或 DataFrame，再进 Python 解释器执行函数，10 万组 = 10 万次 Python 函数调用开销
- df.groupby('key').agg({'col': 'sum'}) 直接调用底层 Cython 实现，整列向量化计算，无 Python 层中转
- 即使你传的是 lambda x: np.sum(x)，只要走 apply，就不会 JIT 编译，也不会自动向量化
- agg 支持自定义函数，但前提是函数能接收 np.ndarray 并返回标量；否则仍退化为 apply 路径
真正容易被忽略的性能陷阱
很多“优化失败”其实卡在细节：
- dtype 没显式设，int64 存 ID 列占 8 字节/值，换成 uint32 省一半内存，但没设就永远用默认的“豪横”类型
- df.info(memory_usage='deep') 不跑一遍，根本不知道字符串列占了 70% 内存，也没法判断要不要转 category
- query() 比布尔索引快，但只在启用 numexpr 引擎时才生效，默认不启用
- 处理嵌套 JSON 或带公式的 Excel，硬用 Pandas 读取，不如先转 Parquet + DuckDB —— 工具链选错，参数调得再细也白搭
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
