toarray()会爆内存是因为它无条件将整个稀疏矩阵展开为完整形状的numpy.ndarray，例如(10⁵,10⁵)矩阵即使仅0.1%非零也需约80gb内存；仅当总元素数
为什么 toarray() 在大型稀疏矩阵上会爆内存？
不是所有稀疏矩阵都能无脑转成密集数组——toarray() 会把整个矩阵展开成 numpy.ndarray，哪怕原矩阵只有 0.1% 非零元素，内存占用也会飙升到原始大小的百倍以上。常见报错是 MemoryError 或进程被系统 OOM killer 杀掉。
- 先用
matrix.nnz查非零元素个数，再估算转成 dense 后的内存：比如 float64 矩阵，rows * cols * 8字节 - 如果
matrix.shape[0] * matrix.shape[1] > 1e8（一亿元素），基本别碰toarray() - 多数 scikit-learn 模型（如
LogisticRegression、SVM）原生支持scipy.sparse输入，根本不需要转
哪些模型强制要求 dense 输入？怎么绕过？
sklearn.ensemble.RandomForestClassifier、sklearn.tree.DecisionTreeClassifier 这类树模型不接受稀疏矩阵，会报错 ValueError: A sparse matrix was passed, but dense data is required。
- 优先用
toarray()的替代方案：matrix.toarray(dtype=np.float32)节省一半内存（float32 够用时） - 更稳妥的是降维后再转：
TruncatedSVD(n_components=100).fit_transform(matrix)输出仍是稀疏或小 dense 矩阵 - 实在要转且内存吃紧，分块处理：
np.vstack([chunk.toarray() for chunk in np.array_split(matrix, 10)])，但注意np.array_split对稀疏矩阵不直接可用，得用scipy.sparse.csr_matrix的切片（如matrix[i:j].toarray()）
scipy.sparse 格式选错导致 fit() 报错怎么办？
不是所有稀疏格式都兼容 scikit-learn——coo_matrix 和 lil_matrix 在传给 fit() 时可能触发 TypeError: no supported conversion，尤其在多线程或 joblib 并行时。
- 统一转成
csr_matrix或csc_matrix：scipy.sparse.csr_matrix(matrix)（适合行操作）或scipy.sparse.csc_matrix(matrix)（适合列操作） - 检查格式：
type(matrix)和matrix.format，避免用matrix.tocsr().copy()多余拷贝；直接matrix.tocsr()即可 - 如果从
pandas.SparseArray构造，务必先转 scipy 稀疏矩阵：scipy.sparse.csr_matrix(df.sparse.to_coo())，否则 sklearn 无法识别
用 StandardScaler 处理稀疏矩阵时踩了什么坑？
StandardScaler 默认会把稀疏矩阵转成 dense 再标准化，一调 fit_transform() 就崩。这不是 bug，是设计如此——它内部用了 np.mean() 和 np.std()，这些函数不保留稀疏性。
- 正确做法：改用
sklearn.preprocessing.StandardScaler(with_mean=False)，设with_mean=False才能保持稀疏性（因为去均值需减 dense 向量，而缩放只需除标量） - 或者换更安全的方案：
sklearn.preprocessing.MaxAbsScaler，它对稀疏矩阵完全友好，且无需with_mean=False - 别手动写
matrix / std——std是 array，广播会隐式转 dense；必须用scipy.sparse.diags(1/std).dot(matrix)
稀疏矩阵不是“待转成 dense 的中间状态”，而是应该贯穿 pipeline 的数据形态。真正容易被忽略的，是那些没明说但暗中破坏稀疏性的操作——比如 pd.concat() 合并稀疏列后自动变 dense，或者 joblib.Parallel 里传入稀疏矩阵被序列化反序列化后格式丢失。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
