c++怎么快速统计10GB大文件中的行数_自定义缓冲区与memchr【进阶】

雨雪大大_6795

雨雪大大_6795

2026-03-28

616人浏览

原创

用 fread + memchr 替代 getline 可提速 3–5 倍:通过固定缓冲区(如 64KB)二进制读取,memchr 批量找 '\n',手动处理跨块 '\r\n' 和末行补计,禁用同步与默认缓冲以避免额外开销。

c++怎么快速统计10gb大文件中的行数_自定义缓冲区与memchr【进阶】

用 fread + memchr 替代 getline 能快 3–5 倍

标准 std::getline 对大文件是灾难:每行一次内存分配、一次字符扫描、还要处理换行符兼容(\r\n 和 \n)。10GB 文件走 getline 可能要 40 秒以上;换成固定缓冲区 + memchr 扫描,通常压到 8–12 秒。

核心思路是:把文件当二进制块读入,用 memchr 在内存块里批量找 \n,不逐字节判断,也不构造 std::string。

  • 缓冲区大小建议设为 64 * 1024(64KB)——太小导致系统调用频繁,太大无益(CPU 缓存局部性反而下降)
  • 必须手动处理跨缓冲区的换行:比如缓冲区末尾是 \r,下一块开头是 \n,这算一行,但 memchr 不会跨块找
  • Linux 下 memchr 是 glibc 优化过的 SIMD 实现,比手写循环快得多;Windows 上 memchr 也足够高效,不用自己 SSE

跨平台处理 \r\n 的实际写法

Windows 行尾是 \r\n,Unix 是 \n。如果只数 \n,在 Windows 文本上会多算一行(最后一行没 \n 就漏了);如果只认 \r\n,又会在 Unix 文件里少算(把 \r 当普通字符)。

正确做法是:统计所有 \n,再检查文件末尾是否以 \r\n 结尾且最后 \n 后无内容——但这太重。更实用的是「按 Unix 语义计数」:即把 \r\n 视作一个逻辑换行,只算 \n,并确保最后一行无论有无 \n 都计入(靠初始计数 +1 实现)。

  • 打开文件用 std::ios::binary 模式,避免 Windows 下 \r\n → \n 的自动转换干扰原始字节
  • 读完最后一块后,若该块非空且末尾不是 \n,则行数 +1(补最后一行)
  • 不需要显式跳过 \r:因为 \r\n 中的 \r 本身不是换行符,memchr 只找 \n,自然就跳过了

memchr 查找时容易漏掉最后一行或重复计数

典型错误是:每次 fread 后直接对整块调用 memchr(buf, '\n', n),然后移动指针继续找,但忘了两个边界:

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 如果 memchr 返回 nullptr,说明当前块无 \n,但这一整块仍可能属于同一行(得累加到总行数?不,不能加)——此时什么也不做,等下一块
  • 如果 memchr 找到 \n,要从下一个字节继续找,但别越界:设 ptr = buf,循环中 pos = memchr(ptr, '\n', end - ptr),找到后 count++,再令 ptr = (char*)pos + 1
  • 最易错的是最后一块:若 fread 返回值 n ,说明到文件尾了,此时即使末尾没 \n,也要 count += 1(前提是 n > 0)

性能关键:避免 std::fstream 的默认缓冲区干扰

std::ifstream 默认带缓冲,但和你自己配的缓冲区叠加,反而引发额外拷贝和同步开销。直接用 C 风格 FILE* 更可控,或者至少禁用同步:

  • 加 std::ios::sync_with_stdio(false) 和 cin.tie(nullptr)(哪怕不用 cin,也得关,否则流内部锁还在)
  • 用 std::ifstream::rdbuf()->pubsetbuf(buf, size) 设置自定义缓冲区——但注意:这个调用必须在 open() 之前,且某些标准库实现会忽略它
  • 更稳的选择是 fopen + fread:FILE* fp = fopen("big.log", "rb");,然后配合 setvbuf(fp, nullptr, _IONBF, 0) 关掉 libc 缓冲(你用自己的缓冲就够了)

实测在 10GB 日志文件上,fopen+fread+memchr 比 std::ifstream 快约 15%~20%,差异主要来自缓冲控制粒度和异常路径开销。

真正卡住性能的往往不是算法,而是忘记关同步、缓冲区设成 4KB 还以为够用、或者把 \r 当换行单独计数——这些细节一错,快不起来。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

7519

3

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.20

3908

5

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

399

31

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.26

3479

3

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.27

3038

6

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

2023.08.01

1548

3

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2739

5

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.08

3370

4

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

1737

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习