pandas.read_csv()默认全量加载且自动推断类型，内存占用达文件3–5倍；tb级csv远超单机内存，chunksize仅返回迭代器而非自动省内存，需配合dtype优化、usecols筛选、合理chunksize测试及流式处理。
pandas.read_csv() 默认全量加载，加上自动类型推断和索引构建，会让内存占用达原始文件 3–5 倍；TB级 CSV 即便只含几列，也远超任何单机物理内存上限。
chunksize 不是自动省内存开关，而是返回迭代器
很多人设了 chunksize=10000 就以为 Pandas 会“智能管理内存”，结果跑几轮就 MemoryError。根本原因是：pd.read_csv(..., chunksize=N) 返回的是 TextFileReader 对象——它只是个可迭代器，不触发读取；真正占内存的是你循环里拿到的每个 chunk（本质是完整 DataFrame）。
常见错误：
- 写成
chunks = list(pd.read_csv(..., chunksize=5000))→ 全部 chunk 累积进内存，等于又加载了一遍 - 在循环里做
all_data.append(chunk)或pd.concat(all_data)→ 内存线性增长，毫无意义 - 直接对
reader调.shape或.head()→ 报AttributeError，因为TextFileReader没这些方法
dtype 不指定，单块就能爆内存
没设 dtype 时，Pandas 对字符串列默认用 object 类型，对数字列默认用 float64/int64；一列长文本 + 一万行，object 列内存可能飙到 100MB+。更糟的是，不同 chunk 中同一列因空值分布差异，可能被推断出不同 dtype（比如有的 chunk 是 int64，有的变成 object），后续 concat 直接失败。
实操建议：
- 字符串列优先用
dtype={'col': 'string'}（pandas ≥1.3）或'category'（低基数场景） - 数值列明确降精度：
'float32'、'int32'，除非计算需要高精度 - 跳过无用列：
usecols=['id', 'amount']，比读完再drop省 30%+ 内存 - 禁用索引：
index_col=False，除非真依赖行号
chunksize 值必须实测，不能凭经验瞎设
chunksize 控制的是行数，不是内存大小。10000 行纯 int32 可能只占 400KB，但 10000 行含 50 字符长文本的 object 列，轻松突破 500MB。盲目设 chunksize=100000 在含长文本或高基数分类列的文件上，第一块就可能 MemoryError。
Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本，属于3.14系列的第二个维护更新。该版本包含了18项修复，重点解决了多进程、数据类及正则表达式等模块的回归问题，并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式（移除GIL）正式获得官方支持，是Python发展的重要里程碑。
正确做法：
- 先用
pd.read_csv(filename, nrows=10000)试读一小段 - 运行
df.memory_usage(deep=True).sum()看实际字节数 - 按目标内存（比如 800MB）反推合理 chunksize：比如 10000 行占 80MB，则 chunksize ≈ 100000
- 从 5000 起步测试，逐步增大，观察内存峰值和处理速度平衡点
流式处理逻辑必须闭环在单个 chunk 内
一旦离开 for chunk in ... 循环，这块数据就该彻底释放。任何“先攒着、后统一处理”的想法都会失败——比如想等所有 chunk 读完再 groupby，或过滤后再拼接，本质上还是把全量数据搬进了内存。
可行做法：
- 过滤：直接
chunk[chunk['status'] == 'done']，立刻丢弃未匹配行 - 聚合：每块算局部统计量（如
sum、count、min/max），最后合并标量结果 - 写文件：用
mode='a'追加写，首次写加header=True，后续header=False - 入库：用
chunk.to_sql(..., if_exists='append')，确保连接对象带连接池
真正容易被忽略的点是：Python 的 GC 不保证立即回收，尤其当变量名还被作用域持有时。显式写 del chunk 并在大循环末尾加 gc.collect()（小概率需要，但 TB 级下建议加），能减少内存抖动。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
