scikit-learn降维内存溢出主因是中间结构未约束：用truncatedsvd替代pca处理稀疏矩阵，调低tsne的perplexity和early_exaggeration，超大稠密数据用incrementalpca分块拟合，countvectorizer改用hashingvectorizer控制词汇表爆炸。
Scikit-learn 降维或拟合阶段爆 MemoryError，不是数据太大，而是算法默认把全部中间结构塞进内存——尤其在特征数 > 10k 或样本数 > 100k 时，PCA、TSNE、CountVectorizer 这几类最常中招。
用 TruncatedSVD 替代 PCA 处理稀疏矩阵
PCA 遇到 scipy.sparse.csr_matrix 会强制转成稠密数组，瞬间吃光内存；TruncatedSVD 原生支持稀疏输入，且只算前 k 个奇异向量，不构造协方差矩阵。
- 先确认输入是否稀疏：
isinstance(X, scipy.sparse.spmatrix) - 设
n_components小于min(X.shape) - 1，避免内部 fallback 到全 SVD - 别用
algorithm='arpack'（对稀疏矩阵反而更耗内存），保持默认'randomized'
示例：from sklearn.decomposition import TruncatedSVD; svd = TruncatedSVD(n_components=50, random_state=42); X_reduced = svd.fit_transform(X_sparse)
限制 TSNE 的 perplexity 和 early_exaggeration
TSNE 内存峰值主要来自距离矩阵和梯度计算：默认 perplexity=30 让每个点关注约 30 个邻居，样本超 5w 时，early_exaggeration=12 会让临时数组翻倍增长。
- 样本 > 10k 时，把
perplexity降到 5–15（越小越省内存，但语义保真度下降） - 显式设
early_exaggeration=1.0或2.0，禁用默认的 12 - 必须加
init='pca'，否则从随机初始化开始会多占一倍内存 - 避免
method='exact'（只适合极小数据，'barnes_hut'是默认且更省内存）
对超大稠密数组用 IncrementalPCA 分块拟合
当数据无法一次性载入内存（比如 50GB 的 float64 数组），PCA 直接 OOM；IncrementalPCA 支持分块拟合，每块只保留均值和协方差增量，内存稳定在 O(n_features²) 级别。
- 按行分块读取，例如用
pandas.read_csv(chunksize=)或numpy.memmap - 每次喂给
partial_fit()，注意n_components必须提前确定 - 确保所有块 dtype 和列顺序一致，否则协方差更新会出错
用 HashingVectorizer 替代 CountVectorizer 控制词汇表爆炸
CountVectorizer 构建全局词汇表时，内存随文档数和 n-gram 组合数非线性增长；14000 文档就可能让词汇表占 750MB。而 HashingVectorizer 不存词汇表，直接哈希映射，内存恒定。
- 代价是无法反查词项（哈希不可逆），也不能做
vocabulary_.get() - 若必须保留词项可解释性，需先抽样构建全局词汇表，再分块生成 DTM 并对齐列
- 设置
n_features显式限制哈希空间大小（如2**18≈ 26 万维）
真正容易被忽略的是：很多内存问题不是“模型太重”，而是中间表示（比如稀疏转稠密、距离矩阵、词汇表索引）没被约束——这些结构往往比模型参数本身还吃内存。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
