dask不是加速单行代码的工具，而是解决数据装不下、计算跑不完的问题；对10mb小文件硬用dd.read_csv反而比pandas慢，需依硬件和文件结构显式设blocksize、避免隐式重复读取、合理选调度器并监控dashboard调优。
dask 不是用来“加速单行代码”的工具，而是为了解决“数据根本装不下、计算根本跑不完”这类问题。它不是万能提速器，用错场景反而更慢——比如你只有 10MB CSV 文件，硬上 dask.dataframe，大概率比 pandas.read_csv 还慢。
dd.read_csv 读大文件时卡住或内存爆掉？先检查分区和块大小
常见错误现象：dd.read_csv 启动后几秒没反应、进程占用内存持续飙升、最终 MemoryError 或被系统 kill。
根本原因不是 Dask 本身有问题，而是默认分区策略不匹配你的硬件和文件结构。Dask 默认按行数大致均分，但若 CSV 没有换行符（比如含嵌套 JSON 字段）、或某几行异常长，就会导致一个分区实际加载远超预期。
- 显式指定
blocksize（推荐）：对大文本文件，用字节粒度切分更稳，例如dd.read_csv("data.csv", blocksize="64MB") - 避免依赖
npartitions：它只是“期望分区数”，Dask 实际划分仍受文件结构限制；优先用blocksize控制物理读取单元 - 确认文件是否可分块：压缩格式如
.gz不支持随机跳转，blocksize会失效；改用.zip（内含未压缩 CSV）或.parquet
compute() 调用后性能断崖式下降？延迟计算链太长或触发重复读取
典型表现：前几十行操作飞快，一调 .compute() 就卡住几分钟，CPU 利用率却很低。
这是 Dask 最常被误用的点：延迟计算不是免费的，它把所有操作攒成一张图，.compute() 是一次性执行整张图。如果图里包含多次读取同一文件、或中间结果未缓存，就会反复 IO 或重复计算。
- 高频访问的中间结果，用
persist()固化到内存：例如df_clean = df.dropna().persist()，后续所有基于df_clean的操作都复用这份副本 - 避免在循环里反复调
.compute()：把多个聚合合并成一次，如df[['a', 'b']].mean().compute()比分别调两次快得多 - 检查是否有隐式重复读取：比如
df[df.x > 0].count().compute()和df[df.x > 0].sum().compute()各自触发一次全文件扫描；应改写为subset = df[df.x > 0].persist()再分别算
da.from_array 或 da.random 创建数组后计算极慢？块大小设置违背硬件边界
现象：创建一个 10GB 数组，.mean() 耗时远超预期，topological_sort 显示任务数爆炸（几万个节点）。
Dask Array 的性能极度依赖 chunks 参数。块太小 → 任务调度开销压倒计算收益；块太大 → 无法并行，单核吃满，其他核空闲。
- 通用经验：块尺寸尽量接近 L3 缓存大小（现代 CPU 通常 10–30MB），例如 float64 数组，
(2000, 2000)≈ 32MB，比(100, 100)更合理 - 避免非整除切分：如果原始数组 shape 是
(15000, 15000)，设chunks=(2000, 2000)会导致最后一块巨大（15000 % 2000 == 1000），拖慢整体；用da.rechunk()重平衡 - IO 密集型操作（如从磁盘读 HDF5）优先用更大的块；纯计算密集型（如 FFT）可用稍小块以提升核利用率
本地多进程 vs 多线程调度器选哪个？别只看 CPU 核心数
很多人直接用 Client(processes=True)，结果发现速度还不如默认线程模式，甚至报 BrokenPipeError。
关键差异不在“能不能并行”，而在“并行什么”。Python 的 GIL 让多线程对纯计算无效，但对 IO 有效；多进程绕过 GIL，但进程启动/数据序列化成本高。
- 读 CSV / Parquet / HDF5 等 IO 密集任务 → 用线程调度器（默认）更稳，开销低
- 数值计算（
da.cos(),da.linalg.svd()）→ 必须用进程调度器，否则 GIL 锁死所有核 - 混合负载（边读边算）→ 先试线程，若 CPU 利用率长期低于 30%，再切进程；同时加
memory_limit="4GB"防止进程吃光内存
.compute()，而是判断哪一步该 persist、哪一块该 rechunk、什么时候该换调度器——这些决策没有银弹，得盯着 client.dashboard 里的任务流图和资源热力图实时调。Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
