分块读取并即时清洗缺失值,数值列用中位数、分类列用众数填充,必须显式指定dtype(如float32、category),避免内存爆炸和类型错误。

直接用 fillna() 对整个 DataFrame 调用,大概率会内存爆掉或填错类型——尤其当文件超 1GB 且列类型未显式约束时。
分块读取后立即清洗,别等全加载完
缺失值处理必须嵌入分块流程,而不是“先读完再统一填”。否则 pd.read_csv() 已把全部 NaN 加载进内存,fillna() 只是雪上加霜。
- 用
chunksize参数控制单次内存占用,例如chunksize=50000 - 每块读入后立刻调用
df.isna().sum()查看缺失分布,避免盲目填充 - 对数值列优先用中位数(比均值抗异常值),分类列用
mode()[0],别依赖fillna(method='ffill')——跨块不连续时会污染逻辑 - 示例:
for chunk in pd.read_csv("big.csv", chunksize=50000, dtype={"price": "float32", "category": "category"}): chunk["price"].fillna(chunk["price"].median(), inplace=True) chunk["category"].fillna(chunk["category"].mode()[0], inplace=True) # 后续处理或写入...
dtype 不设好,fillna 就是无效操作
Pandas 默认推断类型常把整数列判成 float64,把低基数字符串判成 object。前者让内存翻倍,后者让 mode() 失效(object 列的 mode() 返回 Series,不是标量)。
Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。
- 数值列强制指定
int32或float32,比如dtype={"user_id": "int32", "score": "float32"} - 分类列明确用
"category",它既省内存又支持mode()直接返回标量 - 时间列别用
str存,尽早转datetime64[ns],否则缺失值无法用interpolate(method="time") - 错误示范:
df["status"].fillna("Unknown")在object列上可行,但在category列会报ValueError: fill value must be in categories
别 accumulate 到 list 再 concat,边填边写
很多人习惯 results.append(chunk.fillna(...)),最后 pd.concat(results) ——这会让所有块同时驻留内存,10 块 × 每块 200MB = 2GB 即刻触发 OOM。
- 改用
csv.writer边处理边写入新文件,跳过 DataFrame 拼接环节 - 首次写入时用
chunk.columns.tolist()写表头,后续块跳过 - 如果必须保留 DataFrame 接口,用
Dask替代:它天然支持惰性计算,df.fillna().compute()不会全量驻留 - 注意:
to_csv(..., mode="a")在循环中频繁打开关闭文件有 I/O 开销,建议用buffering=8192或批量缓存 1000 行再 flush
最易被忽略的是缺失值策略和数据类型绑定——填什么值只占你 20% 的精力,剩下 80% 在 dtype 定义、chunksize 选值、以及是否真的需要“填”(有时 dropna(subset=[...]) 更合理)。别让 fillna() 成为掩盖类型混乱的创可贴。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










