用counter统计单词频次需先正则提取纯字母单词并转小写，再过滤停用词、考虑词形还原；大文件应逐行流式处理；中文须用jieba等专业分词库。
用 collections.Counter 快速统计单词频次
直接上最简可行方案：读文件 → 分词 → 计数。关键在分词不能只靠 str.split()，否则标点和大小写会干扰结果。
实操建议：
- 先用
re.findall(r'\b[a-zA-Z]+\b', text)提取纯字母单词，避开标点、数字、缩写（如 "don't" 会被拆成 "don" 和 "t"，需按需调整正则） - 统一转小写再计数，避免
"The"和"the"被算作两个词 -
Counter返回的是字典子类，可直接用.most_common(10)取高频词
from collections import Counter
import re
with open('file.txt') as f:
text = f.read()
words = re.findall(r'\b[a-zA-Z]+\b', text.lower())
counter = Counter(words)
print(counter.most_common(5))
处理停用词和词形还原（非必须但常被忽略）
原始统计出来的高频词往往是 "the"、"and"、"is" 这类停用词，真正有信息量的名词动词反而排不进前10。不剔除停用词，统计结果基本没法用于分析。
实操建议：
- 用
nltk.corpus.stopwords.words('english')获取标准停用词表（需先pip install nltk并运行nltk.download('stopwords')） - 词形还原比简单去后缀更可靠，比如
"running"→"run"，用nltk.stem.WordNetLemmatizer，但注意它依赖词性标注，对未标注的单词默认按名词处理 - 如果不想引入
nltk，至少手动过滤常见停用词：stop_words = {'the', 'a', 'an', 'and', 'or', 'but', 'in', 'on', 'at', 'to', 'for', 'of', 'with', 'by'}
大文件不能一次性 read() 的情况
几GB的日志或小说文本，用 f.read() 会爆内存。必须流式处理，逐行或分块读取。
Python 3.14.2
下载
Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本，属于3.14系列的第二个维护更新。该版本包含了18项修复，重点解决了多进程、数据类及正则表达式等模块的回归问题，并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式（移除GIL）正式获得官方支持，是Python发展的重要里程碑。
实操建议：
- 用
for line in f:逐行处理，每行提取单词后更新Counter对象（counter.update(words)） - 避免在循环里反复调用
re.findall—— 把编译好的正则对象提出来：word_pattern = re.compile(r'\b[a-zA-Z]+\b')，然后用word_pattern.findall(line.lower()) - 如果文件是 UTF-8 BOM 开头，用
open(... , encoding='utf-8-sig')自动跳过 BOM，否则首词可能带\ufeff
中文文本怎么办？别硬套英文逻辑
中文没有天然空格分词，re.findall(r'\b\w+\b', ...) 会把整段当一个“词”。强行按字切（如 [c for c in text]）又失去语义。
实操建议：
- 必须用专业分词库，
jieba是最轻量的选择：import jieba; words = jieba.lcut(text) -
jieba默认模式对专有名词支持一般，遇到人名地名可提前用jieba.add_word()加入词典 - 中文停用词表要单独找，不能复用英文的；常用开源列表如哈工大停用词表（
hit_stopwords.txt），注意编码通常是 GBK
真正麻烦的不是代码几行，而是分词质量——错一分，频次统计就偏一整片。没做过领域适配的分词模型，统计结果只能看个热闹。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
