根本原因是polars采用rust编写的多线程查询引擎、基于arrow的列式内存模型、惰性求值机制及零拷贝数据访问，而pandas依赖单线程、行式存储和急切执行，导致在大数据场景下性能与内存效率显著落后。
Polars比Pandas快的根本原因是什么？
因为Polars默认启用多线程执行、基于Arrow的列式内存模型、惰性求值（LazyFrame）以及零拷贝数据访问。Pandas在百亿行场景下容易OOM或卡死，而Polars能将read_csv、filter、group_by等操作自动并行化，且不把中间结果全加载进内存。
- 惰性模式下，
pl.scan_csv()只建执行计划，不真正读数据；调用.collect()才触发计算 - 所有字符串/数值操作都向量化，没有Python循环开销；
pl.col("x") > 100这种表达式直接编译为Rust指令 - 默认使用Arrow内存布局，跨语言兼容性好，也方便对接DuckDB或Delta Lake
百亿级CSV读取必须用scan_csv而非read_csv
read_csv会一次性把整个文件加载进内存，百亿行CSV轻松占几百GB RAM；scan_csv则按需分块读取+过滤+聚合，内存占用稳定在几GB内。
- 必须指定
dtypes（如{"user_id": pl.UInt64, "ts": pl.Datetime}），否则类型推断会扫描全量样本，拖慢启动速度 - 加
row_count_name="idx"可避免后续with_row_count()的额外遍历 - 若文件有header但字段名含空格或特殊字符，用
new_columns重命名，别依赖infer_schema_length
df = pl.scan_csv(
"data/big.csv",
dtypes={"id": pl.Int64, "val": pl.Float32},
row_count_name="row_id",
low_memory=True # 启用流式解析，减少临时内存
).filter(pl.col("val") > 0.5).collect()
group_by + agg性能差距在哪？
Pandas的groupby().agg()在未排序键上会强制sort+split+apply，而Polars对group_by做了三类优化：哈希分组（默认）、有序分组（加maintain_order=False）、以及支持dynamic窗口聚合。
- 单列分组用
pl.col("key").hash()预哈希，避免字符串比较开销 - 多列分组时，显式写成
group_by(["a", "b"])比group_by(pl.col("a"), pl.col("b"))更高效（后者触发表达式解析） - 聚合函数尽量用原生支持的，比如
pl.mean("x")比pl.col("x").mean()少一次AST遍历 - 避免在
agg里写Python lambda——Polars不支持，会报InvalidOperationError: Anonymous function not supported in aggregation
常见OOM和报错怎么快速定位？
最常踩的坑是忘了切片就调.collect()，或者在LazyFrame里用了Pandas风格的.iloc。
- 报
ComputeError: Not all columns are available in the schema：说明select或with_columns引用了未定义列，检查列名大小写和空格 -
OSError: Cannot mmap file：Linux系统默认mmap限制太低，运行sudo sysctl -w vm.max_map_count=262144 - 运行中内存持续上涨：大概率误用了
pl.read<em>*()</em>系列函数，换成pl.scan*()并确认所有中间步骤都是LazyFrame - 想调试执行计划但
.explain()输出太长：加optimized=True和type_coercion=True看优化后逻辑
实际处理百亿数据时，真正的瓶颈往往不在Polars本身，而在磁盘IO带宽、是否启用了ZSTD压缩、以及分区字段设计是否让filter能跳过大部分文件。这些细节比选函数更重要。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
