不用换库，优先用稀疏矩阵+分块+增量学习三件套，能解决90%内存爆掉问题；用scipy.sparse替代numpy.ndarray存储高稀疏数据，配合partial_fit()分块训练及特征筛选可显著降内存。
直接结论：不用换库，优先用稀疏矩阵 + 分块 + 增量学习三件套，能解决 90% 的内存爆掉问题。
用 scipy.sparse 替代稠密 numpy.ndarray
文本、用户行为日志、One-Hot 编码后的特征通常含大量 0，但默认用 numpy.array 存会把每个 0 都占一个 float64（8 字节）。换成稀疏格式后，只存非零值和位置索引。
- 常见错误现象：
MemoryError出现在fit()前，甚至load_digits().data后就卡住 —— 实际是数据加载即全转为稠密数组 - 正确做法：用
scipy.sparse.csr_matrix或csc_matrix包裹特征矩阵，多数 sklearn 模型（如SVC、LogisticRegression、RandomForestClassifier）原生支持 - 注意点：不要对稀疏矩阵调用
.toarray()，也不要混用pandas.get_dummies()（它默认输出稠密）；改用sklearn.preprocessing.OneHotEncoder(sparse_threshold=1.0)
分块训练：用 partial_fit() 或 MiniBatchKMeans
当数据大到连单次 fit() 都失败时，说明模型不支持一次性加载 —— 这时得切片喂数据。
- 适用场景：流式数据、日志归档、无法全量读入内存的 CSV/Parquet 文件
- 支持
partial_fit()的模型有限，但关键几个很实用：SGDClassifier、SGDRegressor、PassiveAggressiveClassifier、MiniBatchKMeans - 操作要点：
- 首次调用
partial_fit(X_batch, y_batch, classes=np.unique(y))必须传classes参数（分类任务） - 后续批次只需
partial_fit(X_batch, y_batch) - 避免在每批后调用
score()，I/O 和计算开销叠加会拖慢整体速度
- 首次调用
控制特征维度：别让 SelectKBest 成摆设
高维稀疏数据（比如 50 万维 TF-IDF）即使用了稀疏矩阵，仍可能因内部算法（如距离计算、树分裂）触发隐式稠密化，导致内存翻倍。
- 常见错误：直接拿原始特征丢进
RandomForestClassifier，没做任何筛选 ——max_features默认是"sqrt"，但前期构建结构仍要遍历全部特征 - 实操建议：
- 先用
VarianceThreshold(threshold=0.0)干掉全零或近似常量列 - 再用
SelectKBest(score_func=chi2, k=10000)（分类）或f_regression（回归）筛出最具判别力的特征 - 对文本类数据，
TfidfVectorizer(max_features=50000)比后期过滤更省内存
- 先用
警惕 n_jobs 和底层线程的双重开销
n_jobs=-1 看着爽，但在内存紧张时反而雪上加霜 —— joblib 多进程会各自拷贝一份数据（除非自动启用 memmap），OpenMP 层还可能额外开线程。
- 容易踩的坑：同时设置
n_jobs=-1+export OMP_NUM_THREADS=8，实际线程数可能超 CPU 核心数 2–3 倍，触发频繁 swap - 建议组合：
- 内存吃紧时，强制
n_jobs=1，关掉所有并行 - 若必须并行，用
n_jobs=2或3，并设export OMP_NUM_THREADS=1关闭 OpenMP - 验证是否生效：运行时用
htop观察 RES 内存和线程数
- 内存吃紧时，强制
真正难处理的是那些既不能稀疏化（比如图像像素）、又不支持 partial_fit()（比如 DBSCAN）、还必须全量加载的场景 —— 这时候就得接受“降精度换内存”，比如采样、降维（TruncatedSVD）、或换 HDBSCAN 这类专为大数据设计的替代实现。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
