Python中如何使用TfidfVectorizer对中文文本进行向量化处理？-Python教程-PHP中文网

中文分词是tfidfvectorizer前必须手动完成的步骤，因默认切分对中文无效，需用jieba等工具分词后拼接空格字符串，或通过analyzer参数注入自定义分词函数并设token_pattern=none。

python中如何使用tfidfvectorizer对中文文本进行向量化处理？

中文分词是TfidfVectorizer前必须手动完成的步骤

TfidfVectorizer 默认使用空格和标点切分，对中文完全无效——它会把整句“我喜欢编程”当成一个 token，导致向量维度极低、无法捕捉语义。必须先用 jieba 或 pkuseg 等工具做分词，再把分词结果以空格拼接成字符串传入。

常见错误是直接把原始中文列表传给 TfidfVectorizer，结果得到全零矩阵或 max_df 被误触发（因为每个文档只含 1–2 个“词”）。

推荐用 jieba.lcut() 做精确分词，避免 jieba.cut() 返回生成器导致后续拼接出错
分词后用 " ".join(tokens) 拼接，确保 TfidfVectorizer 能按空格识别词元
停用词需自行加载中文停用词表（如哈工大停用词表），TfidfVectorizer 的 stop_words 参数不支持中文内置停用词

正确设置token_pattern和analyzer参数才能绕过分词预处理

如果不想在外部调用 jieba，可以改用 analyzer 参数注入自定义分词函数。此时 token_pattern 必须设为 None，否则会和 analyzer 冲突——默认正则 r"(?u)\b\w\w+\b" 在中文里根本匹配不到任何东西。

示例写法：

python-parallelization

将顺序 Python 代码转换为并行/并发实现，用于在需要并行化 Python 代码、提升性能时使用。

下载

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
<p>def chinese_tokenizer(text):
return list(jieba.lcut(text))</p><p>vectorizer = TfidfVectorizer(
analyzer=chinese_tokenizer,
token_pattern=None,  # 关键！否则 tokenizer 不生效
max_features=5000,
ngram_range=(1, 2)
)</p>

analyzer 接收字符串，返回词列表；不能返回生成器或带空格的字符串
若同时设了 token_pattern 和 analyzer，analyzer 会被忽略
ngram_range 对中文有效，但二元组是“词+词”，不是“字+字”，所以需确保分词粒度合理

fit_transform后稀疏矩阵的shape和vocabulary_要交叉验证

中文文本经向量化后，vocabulary_ 字典键是分词后的词（如 "机器"、"学习"），值是列索引。如果发现 shape 中列数远小于预期（比如设了 max_features=1000 但实际只有 87），大概率是：min_df 太高、停用词没过滤干净、或分词结果大量重复（如每句都含“的”“了”但未加入停用词表）。

检查 vectorizer.vocabulary_.keys() 前 10 项，确认是否出现单字（说明分词失败）或长串无意义词（如 URL、乱码）
max_df=0.95 对中文容易误删高频实词（如“用户”“系统”），建议从 max_df=0.99 开始调
调用 vectorizer.get_feature_names_out() 查看实际保留的词，比直接 print vocabulary_ 更直观

transform新文本时必须复用同一个vectorizer实例

训练集用 fit_transform 得到矩阵后，对测试集或新文本必须用同一个 vectorizer 实例调用 transform，不能重新 fit——否则词表不一致，向量维度对不上，transform 会报错 ValueError: Vocabulary wasn't fitted. 或静默丢弃未登录词。