tfidfvectorizer.fit_transform()易oom因需全量加载文本建词表、展开n-gram、统计词频，中间结构耗尽内存；推荐用hashingvectorizer+tfidftransformer分块处理，或countvectorizer.partial_fit增量建词典，中文须预分词并严格控停用词与阈值。

为什么直接用 TfidfVectorizer.fit_transform() 会 OOM

它必须一次性把全部文本加载进内存，构建完整词汇表、展开 n-gram、统计词频——这些中间结构（尤其是未剪枝的 token 映射）极易吃光 RAM。常见现象是进程被系统 kill，top 显示 Python RSS 突增至 15GB+，而最终输出的稀疏矩阵其实只占几百 MB。

HashingVectorizer + TfidfTransformer 是最稳的大规模路径

哈希向量化完全跳过词汇表构建，用固定维度（如 n_features=2**18）的稀疏矩阵承接所有文本，后续再做 IDF 缩放。关键点：

• HashingVectorizer 输出的是原始词频（非 TF-IDF），必须接 TfidfTransformer 才算完整流程
• 必须设 alternate_sign=False，否则 TfidfTransformer 无法正确处理负值哈希
• 推荐搭配 norm='l2' 和 smooth_idf=True，避免零除或极端权重

from sklearn.feature_extraction.text import HashingVectorizer, TfidfTransformer
<p>hv = HashingVectorizer(n_features=2**18, alternate_sign=False)
tfidf_trans = TfidfTransformer(norm='l2', smooth_idf=True)</p><h1>分块读取，逐块 transform → 拼接稀疏矩阵</h1><p>X_chunks = []
for chunk in text_iterator():  # 你自己实现的流式读取器
X_chunk = hv.transform(chunk)
X_chunks.append(X_chunk)</p><p>X_full = sparse.vstack(X_chunks)  # scipy.sparse.vstack
X_tfidf = tfidf_trans.fit_transform(X_full)</p>

用 CountVectorizer.partial_fit() 做增量词典构建

TfidfVectorizer 本身不支持 partial_fit，但你可以拆开底层组件模拟：先用 CountVectorizer 增量累积词频，再统一算 IDF。注意三个硬性条件：

python-script-generator

快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。

下载

• 首次调用 partial_fit 必须传空列表 [] 初始化词典
• 所有批次必须用同一 CountVectorizer 实例，且 max_features、min_df、max_df 等参数全程锁定
• 最后一步 transform(all_texts) 仍是全量加载，所以仅适用于“词典可装下，但 TF-IDF 矩阵太大”的场景

典型失败点：漏掉首次 partial_fit([])，或在不同批次间改了 stop_words，导致 vocabulary_ 错位。

中文大规模处理必须预分词 + 控制停用词粒度

别指望 TfidfVectorizer 自动处理中文。直接喂原始中文字符串，它只会按空格切分——结果就是每个文档变成一个超长 token，特征全废。真实路径是：

• 用 jieba.lcut(doc, HMM=False) 预分词（关 HMM 加速 3–5 倍）
• 停用词不能只填 ['的', '了'] 这种手工 list；要加载哈工大或百度停用词表，并过滤掉所有标点、数字、单字虚词
• min_df=5 和 max_df=0.95 必设，否则百万文档下词汇量轻松破 50 万，IDF 计算变慢且噪声爆炸

真正卡住性能的往往不是算法，而是分词后没清理干净的空白符、乱码 token 或未归一化的繁简体——这些会在 fit 阶段悄悄膨胀 vocabulary_。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！