tfidfvectorizer直接fit_transform会oom，因其默认一次性加载全部文本构建未剪枝词汇表；应改用countvectorizer.partial_fit增量建词典+tfidftransformer，或直接用hashingvectorizer跳过词表构建。
TfidfVectorizer 直接跑 fit_transform 会 OOM，不是代码写错了，是设计上就不扛 GB 级原始文本。
为什么 fit_transform 一执行就内存爆掉
它默认把全部文档一次性读进内存：先 token 化、展开 n-gram、统计全局词频、建完整 vocabulary_，最后才算稀疏矩阵——中间过程（尤其是未剪枝的词汇表）吃光内存。常见现象是 MemoryError，或系统直接 kill 进程，top 里 Python RSS 涨到 15GB+。
-
max_features没设 → 词汇量无上限，中文语料轻松破百万 -
min_df=1或max_df=1.0→ 留下大量只在 1–2 篇出现的噪声词 -
ngram_range=(1, 2)开了但没配min_df→ bigram 组合爆炸，内存翻几倍 - 中文文本没传
stop_wordslist → “的”“了”“在”全留下，词表膨胀 20%+
用 CountVectorizer.partial_fit + TfidfTransformer 做增量训练
TfidfVectorizer 本身不支持 partial_fit，但底层组件可以拼出来：先用 CountVectorizer 分批累积词典，再统一算 IDF。适合流式读取或按文件夹分块处理的场景。
python-script-generator
下载
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
- 首次调用
partial_fit必须传空列表[]初始化 - 后续每批文本调用
partial_fit(chunk)，不能漏掉任何一批 - 所有批次处理完后，用
cv.transform(all_texts)得到全量词频矩阵（注意：不是增量 transform） - 再喂给
TfidfTransformer().fit_transform(count_matrix)，IDF 是基于全量统计算的
示例关键片段：
cv = CountVectorizer(max_features=50000, min_df=5, max_df=0.95)
cv.partial_fit([]) # 必须这一步
for chunk in text_chunks:
cv.partial_fit(chunk)
count_matrix = cv.transform(all_texts) # 全量转换，非流式
tfidf = TfidfTransformer().fit_transform(count_matrix)
更鲁棒的替代方案：优先考虑 HashingVectorizer
当文本量远超内存（比如 10GB+ 日志/评论），硬调参数不如换思路。HashingVectorizer 用哈希函数直接映射 term 到固定维度，彻底跳过 vocabulary_ 构建，内存占用稳定且可预测。
- 输出是固定 shape 的稀疏矩阵，可直接接
TfidfTransformer（注意：use_idf=True才真正做 TF-IDF） - 缺点是无法反查词名（
get_feature_names_out()不可用），调试时得靠哈希值推断 - 推荐设
n_features=2**18（约 26 万维），冲突概率低，内存可控在 1–2GB - 中文需提前用
jieba或pkuseg分好词再喂入，HashingVectorizer本身不做分词
容易被忽略的细节：中文停用词和分词必须前置
TfidfVectorizer 的 stop_words='english' 对中文完全无效；而直接传字符串路径或没过滤标点，会导致“。”“？”“\n”全进词表。真实项目中，80% 的内存浪费来自没做预处理。
- 中文停用词必须显式传
list，推荐哈工大或百度停用词表（去重后约 1.2k 个词） - 别依赖
TfidfVectorizer自带的token_pattern处理中文——它默认只匹配 \w+，中文字符全被切碎 - 分词必须在向量化前完成：
[jieba.lcut(doc) for doc in docs]→[' '.join(tokens) for ...]→ 再进fit_transform -
analyzer='word'是默认值，但如果你改过它（比如设成lambda x: x.split()），务必确认输入已是空格分隔的字符串
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
