用TruncatedSVD替代PCA可解决高维稀疏矩阵内存溢出，因其原生支持稀疏输入且不构建完整协方差矩阵；TSNE需降低perplexity（5–15）、early_exaggeration（1.0–2.0）并设init='pca'以节省内存。
Scikit-learn 降维（如 PCA、TSNE、TruncatedSVD）内存溢出，本质是算法默认加载全部数据到内存并构造中间矩阵——尤其在特征数 > 10k 或样本数 > 100k 时极易触发。
用 TruncatedSVD 替代 PCA 处理高维稀疏矩阵
当输入是稀疏矩阵（如 scipy.sparse.csr_matrix），PCA 会强制转成稠密数组，瞬间吃光内存；TruncatedSVD 原生支持稀疏输入，且只计算前 k 个奇异向量，不构造完整协方差矩阵。
实操建议：
- 确认输入是否稀疏：
isinstance(X, scipy.sparse.spmatrix)，是则直接换用TruncatedSVD - 设置
n_components小于min(X.shape) - 1，避免内部调用全 SVD - 避免设
algorithm='arpack'（它对稀疏矩阵反而更耗内存），默认'randomized'即可 - 示例：
from sklearn.decomposition import TruncatedSVD<br>svd = TruncatedSVD(n_components=50, random_state=42)<br>X_reduced = svd.fit_transform(X_sparse) # X_sparse 是 csr_matrix
对 TSNE 严格限制 perplexity 和 early_exaggeration
TSNE 内存峰值主要来自距离矩阵和梯度计算：默认 perplexity=30 会让每个点关注 ~30 个邻居，但若样本超 5w，early_exaggeration=12 会放大梯度更新步长，导致临时数组翻倍增长。
实操建议：
- 样本 > 10k 时，把
perplexity降到5–15（越小越省内存，但语义损失需权衡） - 显式设
early_exaggeration=1.0或2.0，禁用默认的 12 - 必须加
init='pca'，否则从随机初始化开始会多占一倍内存 - 避免
method='exact'（只适合 'barnes_hut'
用 IncrementalPCA 流式处理超大稠密数组
当数据无法一次性载入内存（比如 50GB 的 float64 数组），PCA 会直接 OOM；IncrementalPCA 支持分块拟合，每块只保留均值和协方差增量，内存占用稳定在 O(n_features²) 级别。
实操建议：
- 按行分块读取（如用
numpy.memmap或pandas.read_csv(chunksize=...)），每次喂给partial_fit() -
n_components必须提前确定，不能动态调整 - 确保所有块使用相同
dtype和列顺序，否则协方差累计出错 - 不要混用
fit()和partial_fit()—— 一旦调用过partial_fit()，就只能继续用它
真正棘手的是混合场景：比如稀疏文本特征 + 需要保留局部结构 → 这时得先用 TruncatedSVD 降到 1k 维，再喂给调低 perplexity 的 TSNE。中间任何一步没控制住矩阵密度或块大小，内存就又爆了。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
