tfidfvectorizer在百万级文档上易oom，因其默认一次性加载全部文本构建词汇表和稀疏矩阵；未设max_features、中文未分词、停用词无效及默认float64等导致内存激增。
直接用 TfidfVectorizer 处理大规模文本，90% 的性能瓶颈不在算法本身，而在内存分配、停用词加载和分词预处理上。
为什么 TfidfVectorizer 在百万级文档上容易 OOM？
默认情况下，TfidfVectorizer 会一次性把整个语料库加载进内存做 fit_transform，同时构建完整的词汇表（vocabulary_）和稀疏矩阵。当文档数超过 50 万、平均长度超 500 字时，未调优的参数极易触发内存溢出。
-
max_features不设限 → 词汇表可能膨胀到百万级，每个float64占 8 字节，光特征维度就吃掉数 GB 内存 -
analyzer='word'+ 中文未分词 → 把整句当“词”，生成大量无意义 token（如“人工智能是未来”被切为单字或整串） - 停用词用
stop_words='english'→ 对中文完全无效，高频虚词（“的”“了”“在”）全保留，IDF 失效 - 未启用
dtype=np.float32→ 默认float64，双倍内存开销
如何安全地处理 100 万+ 文档的 TF-IDF 向量化？
核心思路是：**分块加载 + 预过滤 + 稀疏约束**，不依赖单次全量拟合。
- 用生成器逐批读取文档（例如每次 10k 条），避免一次性读入全部文本
- 提前用
jieba或pkuseg分词，并过滤停用词（推荐加载本地stopwords.txt，而非用内置英文表） -
TfidfVectorizer初始化时强制设定：max_features=100000、min_df=5、max_df=0.95、dtype=np.float32 - 对超大语料，先用
CountVectorizer拟合得到vocabulary_，再传给TfidfTransformer分批 transform，避开fit_transform的全量内存压力
TfidfVectorizer 和 TfidfTransformer 何时该拆开用？
当你需要「增量更新 IDF」或「跨数据集复用词汇表」时，硬拆是唯一选择。比如新来一批文档，想沿用旧语料训练的 IDF 权重，就不能再调 fit_transform。
-
CountVectorizer负责将文本转为词频向量（shape=(n_samples, n_vocab)），可保存其vocabulary_和stop_words_ -
TfidfTransformer只接受已有的词频矩阵，计算 IDF 并缩放 → 支持fit()（计算 IDF）和transform()（应用 IDF），但不能fit_transform() - 注意：
TfidfTransformer的fit()必须用旧语料的词频矩阵，否则 IDF 值不一致；新文档只能走transform() - 若新文档含旧词表外的词，会被直接丢弃 —— 这是设计行为，不是 bug
中文场景下最常踩的三个坑
不是参数没调对，而是底层假设错了。
-
tokenizer未显式指定 → 默认按空格切分，中文全崩（“机器学习”变成一个 token，无法识别“机器”“学习”） -
ngram_range=(1, 1)硬编码 → 中文关键词常是二元组合（“深度学习”“神经网络”），不放开ngram_range=(1, 2)会漏重要特征 - IDF 公式里用了平滑但没注意：sklearn 默认用
idf = log((n_samples + 1) / (df + 1)) + 1，如果你手动实现要对齐，否则跨工具结果不可比
真正卡住的往往不是“怎么算”，而是“哪些词不该让它算”——中文停用词表质量、分词颗粒度、min_df 阈值这三项，比选什么 IDF 公式影响更大。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
