tfidfvectorizer是提取tf-idf特征的标准解法，自动完成分词、词频统计、idf计算和l2归一化；需预清洗文本、中文须用jieba等分词，避免按字切分，并注意idf平滑、词表固化及权重正确获取方式。
用 TfidfVectorizer 提取 TF-IDF 特征最直接
不用手写公式，sklearn.feature_extraction.text.TfidfVectorizer 是标准解法。它自动完成分词、词频统计、IDF 计算和归一化（L2），输出稀疏矩阵。
常见错误是传入未清洗的原始文本：比如带 HTML 标签、多余空格或数字混杂的字段，会导致生成大量无意义 token。建议先做基础清洗——小写转换、去除纯数字/标点占位符（但别删掉所有标点，否则“Python3.9”和“Python”会变成同一词）。
实操建议：
-
stop_words='english'可快速过滤常见停用词，但中文必须自定义stop_words列表或用jieba预切词 - 设
max_features=10000控制词表大小，避免内存爆炸；实际项目中常设为 5000～20000 - 若文本极短（如标题、弹幕），关掉
lowercase=False并设ngram_range=(1, 2)能捕获“机器学习”“深度学习”这类关键二元组合
关键词权重不是直接从 idf_ 数组读出来的
vectorizer.idf_ 存的是每个词的 IDF 值，但它不等于最终特征权重。TF-IDF 权重 = 词频（TF） × 逆文档频率（IDF），而 TF 是按文档逐行计算的，IDF 是全局统计量。
想查某文档中“人工智能”的权重？不能只看 idf_，得先用 vectorizer.transform([doc]) 得到该文档的向量，再定位到“人工智能”对应列索引（vectorizer.vocabulary_.get('人工智能')），最后取值。
注意点：
- 稀疏矩阵里非零值才是有效权重，多数位置是 0 —— 别误以为“没权重”就是词不重要
-
idf_默认加了平滑项（smooth_idf=True），即分母加 1，避免某词未在训练集出现时除零；若需复现经典公式，设smooth_idf=False - 如果后续要喂给树模型（如
RandomForest），记得用.toarray()转成稠密数组，但大语料下极易 OOM
中文文本必须先分词，否则 TfidfVectorizer 会按字切
TfidfVectorizer 默认用空格切分，对中文等于按字分词。“深度学习”会被拆成“深”“度”“学”“习”，完全失去语义。必须干预分词环节。
两种可靠做法：
- 用
jieba.lcut(doc)预处理所有文档，再把结果用空格拼接（如' '.join(jieba.lcut(doc))），然后传给TfidfVectorizer - 自定义
tokenizer参数：TfidfVectorizer(tokenizer=jieba.lcut, token_pattern=None)，此时token_pattern必须设为None，否则默认正则会覆盖分词器
避坑提示：别用 jieba.cut_for_search，它会把“苹果手机”切成“苹果”“手机”“苹果手机”，导致词表膨胀；生产环境优先用 lcut 或 cut。
单独计算单个词的 TF-IDF 权重容易漏掉上下文
有人想绕过向量化，直接用公式算“区块链”在某篇新闻里的权重：查该词在文中出现次数 ÷ 文总词数 × log(总文档数 ÷ 包含该词的文档数)。这看似合理，但忽略两个关键事实：
- 实际
TfidfVectorizer的 TF 是「该词在文档中的出现次数」，不是「相对频率」；除非设了use_idf=False且norm=None，否则不会做除法归一 - IDF 分母是「包含该词的文档数」，不是「该词出现过的文档数」—— 如果某文档里“区块链”出现 10 次，它仍只被计为 1 次
所以，手动计算仅适用于教学演示。真实场景中，哪怕只处理一篇新文档，也应调用 vectorizer.transform([new_doc]) 复用已有词表和 IDF，否则新旧文档权重不可比。
真正难的是跨语料一致性：今天训的模型，明天新增一批数据，IDF 值就变了。线上服务必须固化 vocabulary_ 和 idf_，不能每次重拟合。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
