dask_ml不是sklearn加速插件，而是独立实现的分布式机器学习工具；直接用sklearn.fit()处理dask.dataframe会报错或退化单机执行，必须全程使用dask_ml类和dask.array输入，并确保lengths=true、列名合法、y为一维dask.array。
dask_ml 不是 sklearn 的加速插件，它是一套独立实现、仅 API 兼容的分布式机器学习工具。直接把 sklearn 模型套在 dask.DataFrame 上，要么报错，要么退化成单机执行——这点必须一开始就认清。
为什么 sklearn.fit() 不能直接用 dask.DataFrame
常见错误现象包括：ValueError: Expected 2D array, got 1D array instead，或看似训练成功但 model.feature_importances_ 只反映首分区数据。根本原因是：sklearn 所有 .fit() 方法都要求输入是内存中完整的 numpy.ndarray 或 pandas.DataFrame；而 dask.DataFrame 是惰性对象，不调用 .compute() 就没数据，一调就 OOM。
所以以下写法是错的：
from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier() model.fit(ddf[features].compute(), ddf[target].compute()) # ❌ 单机+OOM高危
正确路径是：全程用 dask_ml 类 + dask.array 输入，不碰 .compute()。
dask_ml.ensemble.RandomForestClassifier 的关键约束
它和 sklearn.ensemble.RandomForestClassifier 同名但行为不同，参数语义有硬性差异：
-
n_estimators：仍表示总树数，但训练是并行构建每棵树的子样本，不是靠n_jobs多线程开树 -
max_samples：必须显式设置（如max_samples=1.0），否则默认只用第一个分区的数据训练 -
sample_weight：目前不支持传入dask.array，只能均匀采样 - 缺失
oob_score、class_weight、ccp_alpha等高级选项——这些在分布式调度下尚未实现或语义不明确
特征输入必须转成 dask.array 并带 lengths=True
dask_ml 内部需要知道每个分区的行数才能做正确切分和聚合。如果只写 ddf[features].to_dask_array()，会因形状推断失败而报错或静默出错。
正确写法：
X = ddf[features].to_dask_array(lengths=True) # ✅ 必须加 lengths=True y = ddf[target].to_dask_array(lengths=True)
注意：lengths=True 要求你已调用过 ddf.compute().shape 或提前知道各分区大小；若不确定，先跑一次 ddf.map_partitions(len).compute().tolist() 获取长度列表再传入。
安装与输入数据准备的最小可行检查项
确保环境满足以下四点，否则训练根本不会分布式启动：
- 装的是带 ML 支持的 Dask：
pip install "dask[dataframe,ml]"（不是dask[complete]也不够） - 输入是
dask.dataframe或dask.array，不是pandas或numpy对象 - 所有列名/特征名都是字符串，不能含空格或特殊字符（
dask_ml解析列时对名字敏感） - 目标变量
y必须是一维dask.array，不能是dask.dataframe单列（即使只有一列也要显式.to_dask_array()）
最易被忽略的是最后一点：很多人以为 ddf[target] 就是 y，其实它还是 dask.dataframe，必须转成 dask.array 才能进 dask_ml 的训练流程。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
