truncatedsvd是处理稀疏矩阵的唯一可靠选择，因pca强制中心化会破坏稀疏性、触发.toarray()致oom；必须输入scipy.sparse.spmatrix，n_components需试探设置，输出保持稀疏以兼容下游模型。
TruncatedSVD 是唯一靠谱的选择，别用 PCA ——它会对稀疏矩阵强制转稠密，一跑就 MemoryError。
为什么不能用 PCA 处理稀疏矩阵
PCA 默认要中心化（减均值），而稀疏矩阵一旦减去列均值，几乎立刻失去稀疏性，变成全内存稠密数组。哪怕你传入的是 scipy.sparse.csr_matrix，PCA.fit() 内部也会悄悄调用 .toarray()，尤其当特征数 ≥10⁵ 时，64GB 内存都扛不住。
常见错误现象：fit() 卡住、进程无响应、OOM killer 杀掉 Python 进程。
- 确认是否真稀疏：用
isinstance(X, scipy.sparse.spmatrix)检查，别信shape或dtype -
TfidfVectorizer.fit_transform(docs)返回的默认就是csr_matrix，可直传；但pd.DataFrame.values或np.array()不行 - 如果非要用
PCA，必须先转稠密 + 标准化，仅限小规模数据验证用
TruncatedSVD 输入必须是稀疏矩阵且维度对齐
TruncatedSVD 不报错地“吃掉”密集输入，但会默默触发 .toarray()，这是线上服务爆内存的第一大源头。
实操要点：
- 构造前强转类型：
from scipy.sparse import csr_matrix; X_sparse = csr_matrix(df.astype(np.float32).fillna(0).values) - 避免中间致密化：别在 pipeline 中插
.todense()、.toarray()、np.array(X)或pd.DataFrame(X) - 线上部署时，
TfidfVectorizer和TruncatedSVD实例必须一起保存、一起加载，否则transform()报错X has N features, but TruncatedSVD is expecting M features
n_components 怎么设才不崩也不丢信息
TruncatedSVD 没有精确的累计方差解释率，explained_variance_ratio_ 是近似值，只看趋势，不能像 PCA(n_components=0.95) 那样直接指定保留比例。
安全设置方式：
- 上限参考：
min(1000, int(0.1 * min(X.shape)))，尤其当X.shape[1] >= 100000时，从100起步 - 逐步试探：设
n_components=100 → 200 → 300，观察svd.explained_variance_ratio_.sum()是否增长明显放缓 - 算法选择：
algorithm='arpack'确定性强，适合 ≤200 维；algorithm='randomized'快但需固定random_state，否则训练/推理结果漂移
降维后怎么喂给下游模型不翻车
TruncatedSVD.transform() 默认输出仍是 csr_matrix，这是对的——省内存、快计算。但不是所有模型都吃稀疏输入。
常见兼容性陷阱：
-
LogisticRegression、SGDClassifier、LinearSVC支持稀疏，但注意solver：别用默认'lbfgs'，改用'saga'或'liblinear' -
RandomForestClassifier、KMeans不支持稀疏，报错A sparse matrix was passed, but dense data is required；此时若必须转稠密，优先用np.ascontiguousarray(X_reduced.toarray(), dtype=np.float32)控制内存 - 更优路径：用
sklearn.pipeline.Pipeline封装TruncatedSVD+ 兼容稀疏的模型，避免中间变量泄漏
真正的坑不在算法本身，而在输入格式的隐式转换和维度对齐的松懈——TruncatedSVD 不会警告你“你传进来的是 dense”，它只会安静地把机器拖垮。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
