Scikit-learn内存崩溃主因是算法误构稠密中间结构；高维稀疏数据应优先用TruncatedSVD替代PCA、调低TSNE的perplexity与early_exaggeration、用IncrementalPCA流式拟合、以HashingVectorizer取代CountVectorizer。
Scikit-learn 内存不足崩溃，基本不是数据“太大”，而是算法内部构造了不该有的稠密中间结构——尤其在特征维数高、样本量大、输入稀疏时，PCA、TSNE、CountVectorizer 这三类最常触发 MemoryError。
用 TruncatedSVD 替代 PCA 处理稀疏矩阵
当输入是 scipy.sparse.csr_matrix 时，PCA 会悄悄调用 .toarray()，瞬间把几 GB 稀疏矩阵转成几十或上百 GB 的稠密数组。而 TruncatedSVD 原生支持稀疏输入，只算前 n_components 个奇异向量，不构造协方差矩阵。
- 先确认是否稀疏：
isinstance(X, scipy.sparse.spmatrix) -
n_components必须设为小于min(X.shape) - 1，否则内部 fallback 到全 SVD，内存又爆 - 别设
algorithm='arpack'（它对稀疏矩阵反而更耗内存），保持默认'randomized' - 示例：
from sklearn.decomposition import TruncatedSVD; svd = TruncatedSVD(n_components=50); X_reduced = svd.fit_transform(X_sparse)
给 TSNE 设严苛的内存限制参数
TSNE 内存峰值主要来自距离矩阵（O(N²)）和梯度更新临时数组。默认 perplexity=30 和 early_exaggeration=12 在样本超 10k 后极易 OOM。
- 样本 > 10k 时，把
perplexity降到5–15；越小越省内存，但局部结构保真度下降 - 显式设
early_exaggeration=1.0或2.0，禁用默认的12 - 必须加
init='pca'，否则从随机初始化开始会多占一倍内存 - 绝对不要用
method='exact'，只适合几百个样本；'barnes_hut'是默认且唯一实用的选择
用 IncrementalPCA 流式拟合超大稠密数组
当数据根本载不进内存（比如 50GB 的 float64 数组），PCA 直接报错；IncrementalPCA 支持分块喂数据，内存稳定在 O(n_features²) 级别。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 用
numpy.memmap或pandas.read_csv(chunksize=)按行/按块读取 - 每块调用
partial_fit()，注意n_components必须提前固定，不能改 - 所有块必须 dtype 一致、列顺序一致，否则协方差累计出错
- 一旦调用过
partial_fit()，就不能再混用fit()—— 它们维护的是两套状态
用 HashingVectorizer 替掉 CountVectorizer 防词汇表爆炸
CountVectorizer 构建全局词汇表时，内存随文档数 × n-gram 组合数非线性增长；1.4 万文档就可能让词汇表吃掉 750MB。而 HashingVectorizer 不存映射表，直接哈希，内存恒定。
- 无需
fit()，直接transform()，天然支持流式文本处理 - 哈希冲突无法避免，但对大多数分类任务影响有限；可通过增大
n_features（如 2**18）缓解 - 不支持
vocabulary_属性，所以不能反查词 —— 如果你依赖这个词表做可解释性分析，就得换思路 - 记得设
alternate_sign=False（默认为True）来避免特征值正负抵消
真正容易被忽略的是混合场景：比如文本特征本身是稀疏的，但下游模型又要求保留局部几何结构（这时 TSNE 又绕不开）。这种情况下，先用 TruncatedSVD 降维到 1000 维以内，再喂给 TSNE，比硬扛原始高维稀疏矩阵靠谱得多。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
