pandas安装不会导致内存溢出，oom发生在用pd.read_csv()加载大文件时；根本原因是默认全量读入内存并推断类型，需通过chunksize、dtype、usecols等优化内存使用。
直接说结论：pandas 本身不“安装”大数据，所谓“安装时内存溢出”实际是误把「加载/读取大文件」当成「安装库」——pip install pandas 不会触发内存溢出，真正爆内存的是后续用 pd.read_csv() 读一个 10GB 文件时没做任何优化。
为什么 pip install pandas 不会 OOM，但 pd.read_csv 却会
pip 安装只是解压 wheel 包、复制字节码、写入 site-packages，全程不加载数据。而 pd.read_csv() 默认行为是：把整份 CSV 从磁盘读进内存，逐行解析，构建索引，推断 dtype，最后返回一个完整 DataFrame —— 这个对象本身就要吃掉比原始文件大 2–4 倍的内存（尤其含字符串列时）。
常见错误现象：
- 运行
pd.read_csv('data.csv')后几秒就报MemoryError - 任务管理器看到 Python 进程内存飙升到 14GB+，然后崩溃
- 误以为是 pandas 安装不全或版本问题，反复重装
chunksize 不是设了就自动省内存，关键在怎么用
chunksize 只是让 pd.read_csv() 返回一个 TextFileReader 迭代器，它本身不节省内存；真正省内存靠的是「每个 chunk 处理完立刻丢弃」。
实操要点：
- 绝不用
list.append(chunk)或pd.concat(chunks)把所有 chunk 存下来——这等于又把全量数据加载进内存 - 每个
chunk应该就地处理：比如过滤后直接chunk.to_sql(..., if_exists='append')入库，或chunk.to_csv(..., mode='a')追加写文件 - 显式删引用：
del chunk，大文件下建议加import gc; gc.collect() -
chunksize不是越小越好：设成 100 行会导致 I/O 和解析开销远超收益；建议从5000起试，逐步调到内存稳定在 60% 以下的值
dtype 和 usecols 是最便宜有效的两步压缩
不指定 dtype 时，pandas 对数字列默认用 float64/int64，字符串列默认用 object（即指针数组），这两项加起来常占内存大头。
立即生效的压缩方式：
- 数值列：明确指定
dtype={'price': 'float32', 'user_id': 'int32'}，可降 40–50% 内存 - 字符串列：若唯一值少（如国家名、状态码），改用
'category'；若只是临时过滤，加keep_default_na=False避免额外NaN推断开销 - 只读几列：用
usecols=['user_id', 'event_time', 'action']，跳过其余列解析——对 100 列的文件，省掉 90 列能直接砍掉 85%+ 内存
什么时候该放弃 pandas，换 Dask 或 Polars
不是所有场景都适合死磕 pandas 分块。以下情况建议切换：
- 需要跨 chunk 做全局操作：比如
df.sort_values('ts')、df.rolling(30).mean()—— pandas 分块无法自然支持，Dask 的dd.read_csv()可以延迟执行并自动调度 - 纯计算密集型聚合（sum/count/mean/groupby）且文件 >50GB：Dask 在 8 核机器上通常比手动分块快 2–3 倍，且内存可控
- 追求极致 IO 性能和低内存占用：Polars 的
pl.read_csv()默认零拷贝、列式解析，10GB 文件常在 20 秒内完成，峰值内存比 pandas 低 60%+
最容易被忽略的一点：很多“内存溢出”根本不是数据太大，而是你一边 pd.read_csv()，一边又在循环里建了 list、dict、set 缓存中间结果——这些容器本身就在悄悄吃光内存。先用 psutil.Process().memory_info().rss 打印每步内存，再决定优化方向。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
