c++如何统计文本文件中出现频率最高的TOP10单词【实战】

胖枫君_9914

胖枫君_9914

2026-03-31

1029人浏览

原创

用std::map累计单词频次需边读文件边切词转小写:遇字母开始新词,非字母结束并清洗,用std::tolower逐字符转小写后插入map[word]++;避免stringstream按空白分割导致标点混入。

c++如何统计文本文件中出现频率最高的top10单词【实战】

怎么用 std::map 累计单词频次,又不漏词不分大小写

核心是:读文件时边切词边转小写,再塞进 std::map<:string int></:string>。别等全读完再处理——内存浪费、逻辑绕、还容易把连字符、标点混进单词里。

常见错误现象:"File" 和 "file" 被当两个词;"file."(带句点)没被清洗,导致统计失真。

  • 用 std::isalpha() 判断字母,跳过所有非字母字符(空格、逗号、句点、引号等)
  • 每识别出一个连续字母序列,立刻用 std::tolower() 逐字符转小写,再插入 mapWord[word]++
  • 别用 std::stringstream >> 直接读——它按空白分割,但会把 "don't" 拆成 "don't"(正确)或误吞单引号;手动扫描更可控

为什么不能直接对 std::map 按 value 排序

std::map 只支持按 key(即单词)排序,天生不支持按频次(value)排。硬要“排序”,就得把数据倒腾出来——这是必须走的一步,不是优化可绕开的。

性能影响:如果文本有 5 万个不同单词,map 插入本身是 O(log n),但后续导出到 std::vector 再按频次+字典序排序,整体仍是 O(n log n),可接受。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • 导出时用 std::vector<:pair int>></:pair>,避免拷贝 string 内容(C++11 后 move 语义已优化)
  • 排序用 std::sort + 自定义 lambda:[&](const auto& a, const auto& b) { return a.second != b.second ? a.second > b.second : a.first (频次降序,相同频次字典升序)
  • 别写 map<int vector>></int> 倒排——看似省排序,但插入复杂度高、内存碎片多,且破坏原始单词唯一性

std::priority_queue 能不能只存 TOP10,省空间

能,但得小心——标准 std::priority_queue 默认最大堆,而我们要的是“最小频次在顶上”,好随时踢掉小的、留下大的。所以必须自定义比较器,且注意相同频次时字典序的处理逻辑不能丢。

使用场景:处理超大文件(如百 MB 英文维基 dump),内存受限,且确定只需 TOP10;普通作业或几 MB 文本,用 vector 排序更直观、不易错。

  • 定义堆:std::priority_queue<:pair std::string>, std::vector<...>, std::greater></...></:pair> —— 注意是 pair<count word></count>,不是 <word count></word>
  • 插入前检查堆 size:若 size == 10 且当前 count
  • 坑点:相同频次时,std::greater 只比 first(count),不会自动比 second(word)。必须封装成自定义 struct 或用 tuple + 更细粒度比较器

文件读取和单词切分最容易崩在哪几个地方

不是语法错,而是边界逻辑错:换行符处理、EOF 判定、单字符单词(如 “a”、“I”)、连字符(“state-of-the-art”)、撇号(“don’t”, “it’s”)。

真实错误信息示例:std::ifstream::eof() returns true only after failed read —— 这意味着你不能写 while (!f.eof()) { f >> s; ... },末尾会多处理一次。

  • 推荐模式:用 while (f.get(ch)) 或 while (std::getline(f, line)) 逐字符/逐行处理,主动控制状态机
  • 单词起始判断:遇到字母就开新词;非字母就结束当前词(哪怕只一个字母)并清洗插入
  • 对撇号(')特殊处理:只保留在词中段的(如 don't),开头结尾的(如 'tis, foo')应截断——按主流英语词典规范,这不是合法单词
实际跑通的关键,往往卡在标点清洗不干净或大小写转换漏了某个分支。宁可多写两行 if (ch >= 'A' && ch ,也别依赖 locale 处理——不同平台默认 locale 不一致,<code>std::tolower 可能返回负值或崩溃。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

5819

3

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.20

2808

5

sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

2023.09.04

1138

7

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.25

334

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2078

7

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

5819

3

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.29

2885

6

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

2025.08.29

3648

10

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.29

2565

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习