怎么利用 continue 在统计关键词词频时自动忽略所有的语气词及常见虚词

夜芳小哥_6122

夜芳小哥_6122

2026-04-30

769人浏览

原创

用continue忽略语气词和虚词,本质是在遍历分词结果时遇预设无意义词即跳过本次循环;需先定义停用词集合(含语气词、助词、代词等),将continue置于for循环内判断之后、统计之前,并配合正则清洗或strip处理标点粘连。

用 continue 忽略语气词和虚词,本质是在遍历分词结果时,遇到预设的无意义词就跳过本次循环,不参与计数。关键不是“怎么写 continue”,而是它要放在哪个位置、配合什么条件才真正生效。

明确停用词列表,是 continue 生效的前提

语气词(如“啊”“呢”“吧”“哦”)、结构助词(“的”“地”“得”)、代词(“它”“这”“那”)、连词(“和”“但”“或”)、介词(“在”“对”“于”)等,都属于常见虚词。你需要先定义一个清晰的停用词集合:

  • 用列表或集合存储,推荐用 set 提升查找速度(比如 stopwords = {"的", "了", "在", "是", "啊", "呢", "吧", "吗", "哦", "嗯"})
  • 注意中英文标点混杂问题:中文句号“。”、逗号“,”、顿号“、”也常混入分词结果,建议一并加入停用词集
  • 可额外加长度过滤,比如 len(word) ,避免单字干扰(“我”“人”“国”等虽非虚词,但在通用统计中常需排除)

把 continue 放在 for 循环内部的判断之后

continue 必须紧跟在条件判断后,且位于统计逻辑之前。典型结构如下:

words = jieba.lcut(text)
word_count = {}
for word in words:
    if word in stopwords or len(word) 
  • 如果写成 if not (word in stopwords): word_count[...] ,就不用 continue,但逻辑易出错;用 continue 更直观、更不易漏掉跳过场景
  • 顺序不能颠倒:必须先判断是否该跳过,再做计数。否则虚词已被计入,continue 就失去意义

结合正则清洗,减少分词后残留干扰

有些语气词会带标点粘连,比如“好啊!”“真的吗?”,直接分词可能得到“好啊!”而非“好啊”。这时仅靠 continue 过滤“啊”没用——因为实际匹配的是“啊!”。建议前置清洗:

  • 用 re.sub(r'[^\w\u4e00-\u9fff]+', ' ', text) 去除所有非中文、非字母数字字符(保留中文、英文字母、数字),再分词
  • 或在分词后统一 strip(): word = word.strip('!?.,;:,;:!?\n\t '),再判断是否为空或在停用词中
  • 这样能确保 “啊!” → “啊”,才能被 word in stopwords 正确捕获

用 Counter 配合列表推导式,让 continue 逻辑更简洁

如果你用 collections.Counter,可以将过滤逻辑提前到生成词列表阶段,代码更紧凑,语义更清晰:

words = jieba.lcut(text)
filtered = [w for w in words if w not in stopwords and len(w) > 1]
word_counts = Counter(filtered)
  • 这里虽没显式写 continue,但列表推导式的 if 条件起到完全相同的作用:不满足就跳过该元素
  • 这种写法可读性高,且天然规避了手动管理字典键值的潜在错误(比如忘记初始化)
  • 如需调试,可单独打印 filtered 查看哪些词被留下,验证停用词过滤是否合理
PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

11357

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

8462

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

7292

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1224

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

988

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1456

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2989

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20251

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1315

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习