正则表达式是分词最直接可控的底层手段，擅长识别格式清晰的单元（如带连字符英文、所有格、中文连续字块、数字混合词），但不适用于语义依赖上下文的部分；应避免split陷阱，用findall一步匹配目标，配合预清洗、轻量过滤及模式优化提升准确率。
正则表达式是分词最直接、可控的底层手段，不依赖第三方库就能定义“什么是词”，但关键不在“全靠正则”，而在“用对地方”——它擅长识别格式清晰的单元，不适合处理语义依赖上下文的部分。
精准定义词边界，避开 split 的陷阱
用 str.split() 按空格切分，遇到 "state-of-the-art" 或 "it's" 就会断开；而正则可一次性捕获完整语义单元：
- 英文单词（含连字符）：
r'\b[a-z]+(?:-[a-z]+)*\b' - 带所有格或缩写：
r"\b[a-zA-Z]+(?:'[st]|[a-zA-Z])*"（需按需微调） - 中文连续字块：
r'[\u4e00-\u9fff]{2,}'（加长度限制避免单字噪声） - 数字混合词（如版本号）：
r'\b\d+\.\d+\.\d+\b'或r'\b[A-Za-z]+\d+\b'
清洗与分词一步到位
别先 replace 再 split，容易残留空字符串或误切。直接用正则匹配目标，天然跳过干扰：
- 忽略所有标点，只取字母数字词：
re.findall(r'\w+', text.lower()) - 保留连字符和单引号，排除其他符号：
re.findall(r"\b\w+(?:[-']\w+)*\b", text.lower()) - 预清洗再匹配更稳：
text = re.sub(r'[^\w\s\'-]', ' ', text)→ 再findall
统计前做轻量过滤，省去后处理
拿到词列表后，统计本身很简单，但前期过滤决定结果质量：
- 去掉无意义短词：
[w for w in words if len(w) > 1] - 去停用词必须在
Counter前完成，否则白算：words = [w for w in words if w not in stop_words] - 高频统计一句搞定：
from collections import Counter; Counter(words).most_common(10)
注意常见坑，提升准确率
写错模式比不用正则还糟：
-
\w+会把"123abc"当一个词 → 改用[a-zA-Z]+限定纯字母 - 大小写敏感？统一转小写，或加
re.IGNORECASE - 中文没
\b边界，用[\u4e00-\u9fff]{2,}更可靠 - 超大文本记得预编译：
pattern = re.compile(r'...')，避免重复编译拖慢速度
