countvectorizer提取关键词频率最稳：英文直接使用，中文需jieba分词并包装tokenizer；注意输入格式、停用词、清洗url/邮箱、过滤低频短词、指定中文字体及绘图参数。
用 CountVectorizer 提取关键词频率最稳
直接上 CountVectorizer，别先想着 jieba 或 nltk 分词——它自带英文空格切分、去停用词、小写归一化，对英文长文本列开箱即用。中文才需要额外加 tokenizer 参数。
常见错误是把整列 pd.Series 直接塞进 fit_transform()，结果报错：expected 2D array, got 1D array instead。必须传入 .values.reshape(-1, 1) 或更稳妥地用 .astype(str).tolist() 转成一维字符串列表。
- 停用词用
stop_words='english'就够，别自己手写列表漏掉"us"、"they"这类高频代词 -
max_features=100控制词表大小，避免内存爆掉；min_df=2过滤只出现一次的噪声词 - 如果文本含大量 URL 或邮箱，提前用正则
re.sub(r'https?://\S+|[\w.-]+@[\w.-]+\.\w+', '', text)清洗，否则会生成一堆无意义的 token
中文文本必须配 jieba 自定义分词器
CountVectorizer 默认按空格切分，中文不加处理就变成单字统计（“机器学习” → “机”、“器”、“学”、“习”），完全失真。必须用 jieba.cut 做预处理，并包装成函数传给 tokenizer 参数。
容易踩的坑：直接写 tokenizer=jieba.cut 会报错，因为 cut() 返回生成器，CountVectorizer 需要返回 list。得包一层：
def jieba_tokenizer(text):
return list(jieba.cut(text))
另外，jieba 默认词典不含专业术语（比如“Transformer”、“LoRA”），建议用 jieba.add_word("LoRA") 提前注入，否则会被拆成“L o R A”或误判为英文。
生成词云前先过滤低频和短词
WordCloud 对输入字典很敏感：键是词，值是频次。直接喂 CountVectorizer 的 toarray() 结果会失败——那是个稀疏矩阵，不是词频字典。
正确路径是：用 vectorizer.get_feature_names_out() 拿词表，用 .sum(axis=0) 统计全量频次，再 zip 成 {word: freq} 字典。但这时你会发现 “a”、“an”、“the”、“of” 占满前排，或者“123”、“http”、“gt” 这类无效 token 也混在里面。
- 加条件过滤：
{w: f for w, f in word_freq.items() if len(w) > 2 and f > 5} - 中文还要排除纯数字、标点、单字（如“的”、“了”），可用
re.match(r'^[\u4e00-\u9fa5]{2,}$', word)粗筛 -
WordCloud的font_path必须显式指定中文字体（如/System/Library/Fonts/PingFang.ttc或simhei.ttf），否则中文全显示方块
matplotlib 显示词云时图像模糊？调 figsize 和 dpi
默认 plt.figure() 生成的图太小，放大后像素糊成一片。这不是词云算法问题，是绘图参数没设对。
核心就两点：figsize=(12, 8) 控制画布尺寸，plt.savefig(..., dpi=300) 控制导出精度。如果只是 plt.show()，记得在 plt.imshow() 后加 plt.axis('off')，否则带坐标轴和白边，破坏视觉效果。
另一个隐藏问题：词云对象 wc.generate_from_frequencies(freq_dict) 后，若 freq_dict 为空（比如全被过滤掉了），会静默失败，图像空白。建议加一行 if not freq_dict: raise ValueError("No valid words left after filtering") 提前拦截。
真正麻烦的是多义词和未登录词——比如“model”在技术文档里既指“模型”，也指“建模动作”，但 CountVectorizer 不做词性区分。这种语义歧义，光靠频率统计解决不了，得上 KeyBERT 或 YAKE 做关键词抽取，不过那就超出词云范畴了。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
