当用户/物品数超10⁴时，直接两两算cosine/pearson相似度时间复杂度o(n²×m)、内存爆炸（如5万×5万矩阵需~10gb），且无法跳过稀疏数据中90%+的零值；truncatedsvd通过将稀疏user_item_matrix投影到低维潜在空间（如k=50）压缩维度、保留共现结构，显著降耗。
为什么直接算用户/物品相似度会变慢
当用户数或物品数超过 10⁴ 级别，用 cosine_similarity 或 pearsonr 两两计算相似度，时间复杂度是 O(N²×M)，内存占用会爆炸式增长。比如 5 万用户 × 5 万用户 的相似度矩阵，即使用 float32 也需近 10 GB 内存，且 NumPy 全量计算时无法跳过零值——而真实协同过滤数据中，90%+ 的 user_item_matrix 元素是 0。
用 TruncatedSVD 替代原始相似度计算
不硬算相似度，而是把稀疏的 user_item_matrix 投影到低维潜在空间（比如 k=50），再在该空间里做向量运算。这既压缩维度，又天然保留共现结构：
-
TruncatedSVD是 sklearn 中唯一支持scipy.sparse输入的 SVD 实现，必须用它，不能用np.linalg.svd - 输入矩阵必须先转成
scipy.sparse.csr_matrix，否则fit()会静默转稠密，OOM 风险极高 - k 值不是越大越好：k > 100 后收益递减，反而放大噪声；推荐从 k=20 开始试，配合验证集 RMSE 调优
- 不要对原始评分做中心化（即不用减去用户均值）：SVD 本身不具备平移不变性，中心化会破坏稀疏性且无必要
from sklearn.decomposition import TruncatedSVD from scipy.sparse import csr_matrix <h1>假设 ratings_df 是 pandas DataFrame，含用户-物品评分</h1><p>sparse_mat = csr_matrix(ratings_df.values) svd = TruncatedSVD(n_components=50, random_state=42) user_embeddings = svd.fit_transform(sparse_mat) # shape: (n_users, 50)</p><h1>后续相似度可直接用 user_embeddings 算余弦：cosine_similarity(user_embeddings)</h1>
ItemCF 场景下用 SVD 的关键变形
ItemCF 本质是算物品相似度，但直接对物品维度（列）做 SVD 效果差——因为物品数常远大于用户数，且单物品被评次数少，向量太稀疏。正确做法是：
- 对
user_item_matrix.T（即物品 × 用户矩阵）做 SVD，得到item_embeddings - 或更稳妥：先用
TruncatedSVD对原始user_item_matrix得到user_embeddings，再用svd.components_作为item_embeddings（这是 SVD 的对偶性质） - 避免用
NearestNeighbors暴力搜最近邻：改用sklearn.metrics.pairwise.cosine_similarity(item_embeddings, dense_output=False)，返回 sparse 矩阵，只存 top-K 相似项
训练后部署时的内存与延迟陷阱
SVD 模型本身轻量，但线上推理容易踩两个坑：
- 每次请求都重新
fit_transform：错！fit()只在离线训练时跑一次，线上只需transform()新用户行为向量（需先映射到原矩阵列空间） - 缓存整个
user_embeddings矩阵：如果用户量达百万级，float32 × 百万 × 50 ≈ 200 MB，可接受；但若存全量cosine_similarity矩阵（百万 × 百万），绝对不可行 - 增量更新难：SVD 不支持真正的 online update。实际中，建议每 6–12 小时全量重训一次，比拼实时性不如拼特征新鲜度（例如加权最近 30 天行为）
真正卡性能的往往不是 SVD 本身，而是稀疏矩阵构造和 embedding 查表逻辑。务必用 csr_matrix.indptr 和 .indices 手动索引，别用布尔掩码或 df.loc。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
