优先选tfidfvectorizer以抑制高频词干扰，如客服对话中的“的”“了”；countvectorizer适用于需原始频次或自定义加权的场景；小语料下tf-idf因idf统计不可靠易失效。
sklearn的TfidfVectorizer和CountVectorizer怎么选
选哪个不看名字，看你要不要抑制高频词的干扰。比如处理客服对话，“的”“了”“是”这种词出现极多但没区分度，TfidfVectorizer会自动压低它们的权重；而CountVectorizer只数次数，适合你明确需要原始频次、或后续自己做归一化/加权的场景。
常见错误现象：TfidfVectorizer在小语料上效果反而不如CountVectorizer——因为TF-IDF依赖文档频率统计，10条文本里算IDF，结果很多词IDF值接近甚至为0，向量变得稀疏且不稳定。
- 短文本（CountVectorizer + 后续
StandardScaler或手动除以长度 - 中长文本（新闻、评论）、样本够（>200条）：直接上
TfidfVectorizer，省事且通常更鲁棒 - 想保留n-gram但又怕维度爆炸：用
ngram_range=(1, 2)+max_features=10000双控
停用词和分词预处理必须自己做吗
必须。sklearn的TfidfVectorizer和CountVectorizer默认只按空格和标点切分，对中文完全无效；英文虽能切，但不会过滤停用词，除非你显式传入stop_words参数。
使用场景：中文文本必须先用jieba或pkuseg分词，再把结果拼成空格分隔字符串；英文可跳过分词，但停用词建议用sklearn.feature_extraction.text.ENGLISH_STOP_WORDS或自定义集合。
- 中文示例：
" ".join(jieba.lcut("今天天气很好")) → "今天 天气 很 好" - 别直接喂原始中文句子给
TfidfVectorizer，否则每个字都当一个“词”，向量维度爆炸且无意义 -
stop_words接受列表或集合，传None（默认）就等于没关停用词，不是“自动识别”
fit_transform()和transform()调用顺序错了会怎样
错一次，模型就废了。训练时用fit_transform()生成词汇表和IDF值；预测/新文本必须用同一个对象的transform()，不能重新fit_transform()——否则新文本的向量维度、词序、IDF值全和训练时不一致，模型直接报错或输出垃圾结果。
典型错误现象：ValueError: X has 123 features per sample; expecting 456，就是新文本用了另一个vectorizer或重新fit导致的维度错位。
- 训练集：用
vec.fit_transform(train_texts) - 验证集/测试集：必须用
vec.transform(val_texts)，不是vec.fit_transform(val_texts) - 保存模型时，
vec必须和classifier一起持久化（如pickle.dump），不能只存分类器
稀疏矩阵输出怎么转成dense又不爆内存
别轻易转。TfidfVectorizer默认输出scipy.sparse.csr_matrix，10万文档×10万词的矩阵，dense形态要占80GB以上内存。真需要dense（比如某些老库不支持sparse），得先降维或采样。
性能影响明显：转.toarray()不只是慢，经常直接OOM；而绝大多数sklearn模型（LogisticRegression、SVC等）原生支持sparse输入，根本不需要转。
- 确认下游是否真的不支持sparse：查文档，看函数签名里参数类型是不是
array-like，还是明确写ndarray - 非转不可？先用
TruncatedSVD(n_components=1000)降维，再.toarray() - 调试时看几行数据：
vec.transform(["hello world"]).toarray()[0][:10]，别整个矩阵转
最常被忽略的是：不同文本长度差异极大时，TF-IDF向量的L2范数浮动剧烈，有些下游模型（如KMeans）对这点敏感，必要时在TfidfVectorizer里加norm="l2"统一缩放。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
