dask 能缓解千万级 csv 内存压力但非开箱即用；dd.read_csv() 支持惰性分块加载，需全程延迟执行并谨慎 compute()，否则更慢更耗内存。
直接说结论：Dask 能缓解千万级 CSV 的内存压力，但不是“开箱即用”的替代方案；dd.read_csv() 本身支持分块惰性加载，可避免一次性全量进内存，但后续所有操作必须延迟执行、按需 compute()，否则反而更慢、更占内存。
为什么 dd.read_csv() 读大 CSV 不报错却更卡？
常见现象是：代码没报错，但调用 .head() 或 .shape 就卡住，或者 .compute() 后内存爆表。这是因为 Dask DataFrame 默认不加载数据——它只构建计算图。一旦触发 .head()，Dask 会尝试读取第一个分区（partition）并返回前5行；但如果分区过大（比如默认 25MB），或底层文件有编码/类型推断问题，就会卡在解析阶段。
-
dd.read_csv()默认按字节切分（blocksize="25MB"），不保证行完整，可能截断某一行导致解析失败 - 未指定
dtype时，Dask 会先采样几行推断类型，若采样行数据不具代表性（如首百行全空、后几行才出现字符串），会导致后续分区解析出错或类型不一致 - 中文路径、GBK 编码、含 BOM 的 UTF-8 文件，Dask 不像 Pandas 那样自动 fallback，必须显式传
encoding="gbk"
如何正确配置 dd.read_csv() 避免内存炸裂
关键不是“能不能读”，而是“怎么读得稳、算得省”。重点控制三件事：分区大小、列类型、是否跳过无用行。
- 用
blocksize="16MB"替代默认值，减小单次 I/O 压力（尤其在机械硬盘或网络存储上） - 务必传
dtype字典，例如{"user_id": "uint32", "amount": "float32", "city": "category"}，避免类型重推和 object 列膨胀 - 如有固定头部/尾部无用行，用
skiprows=1或skipfooter=1（注意：Dask 不支持skipfooter，需改用usecols+ 后续过滤） - 若原始 CSV 行数超 1 亿，建议先导出为
dd.to_parquet()一次，后续全部用dd.read_parquet()——Parquet 支持真正列式分块与谓词下推，性能差距可达 3–5 倍
groupby / apply / merge 这些操作在 Dask 里怎么写才不翻车
Dask DataFrame 的 API 看似和 Pandas 一样，但行为差异极大。最常踩的坑是：把 Pandas 习惯直接套用，结果触发全量 compute() 或隐式广播。
-
df.groupby("key").apply(func)在 Dask 中要求func必须能处理单个 Pandas DataFrame 分区，且返回结构一致；否则加meta=...参数声明输出 schema -
df.merge(other_df, on="id")若other_df是小表（other_df.compute() 转为 Pandas，再用dd.merge(..., how="left", shuffle="disk")，避免 Dask 尝试分布式 shuffle -
df.sort_values("ts")会强制全局排序，极耗资源；如只需按天聚合，优先用df.assign(day=df.ts.dt.date).groupby("day")，绕过排序 - 链式调用如
df.dropna().query("x > 0").value_counts()没问题，但中间任何一步加了.compute()，就等于提前把整张表拉进内存
什么时候该放弃 Dask，退回 Pandas + chunksize
不是所有场景都适合 Dask。当你的流程满足以下任一条件，用原生 pd.read_csv(chunksize=...) 反而更稳、更快、更省内存：
- 单次处理只需遍历一遍数据（如去重、统计、导出子集），且逻辑简单无跨块依赖
- 目标机器只有 4–8 核 + 16GB 内存，Dask 调度开销（线程池、元数据管理）可能超过收益
- 需要使用 Pandas 特有方法，如
.str.extractall()、.pivot_table(margins=True)、.ewm()，这些在 Dask 中未实现或行为不同 - 文件已压缩（.gz/.bz2），Pandas 的
chunksize可边解压边读，而 Dask 对压缩文件的分块支持有限，容易卡在解压阶段
真正难的不是选 Dask 还是 Pandas，而是判断哪一段计算必须跨块协同（此时用 Dask）、哪一段其实可以拆成独立子任务（此时用 concurrent.futures + Pandas 更轻量）。这个边界，往往比语法更关键。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
