c++如何快速读取千万级行数的txt_内存映射IO提速【深度】

雨枫大大_5257

雨枫大大_5257

2026-04-13

551人浏览

原创

在顺序遍历、无格式解析场景下,mmap通常比std::ifstream快2–5倍;但若每行需std::stoi或std::string构造,瓶颈转至解析层,优势大幅缩水。

c++如何快速读取千万级行数的txt_内存映射io提速【深度】

内存映射读取千万行txt,mmap比ifstream快多少?

直接说结论:在顺序遍历、无格式解析的场景下,mmap通常比std::ifstream快 2–5 倍;但若每行都要std::stoi或std::string构造,瓶颈立刻转移到解析层,mmap优势大幅缩水。关键不是“用不用mmap”,而是“怎么避免把mmap当ifstream用”。

mmap后如何安全切分行——别用std::string逐行构造

常见错误是:mmap完,再用std::string_view或std::string对每行做拷贝,这会导致千万次堆分配,性能反超ifstream。正确做法是只维护两个指针:start和end,用裸char*扫描\n,行数据始终在映射页内原地访问。

  • const char* data = static_cast<const char>(addr);</const> 获取映射起始地址
  • 用memchr(data + offset, '\n', remaining) 批量找换行符(比for循环快)
  • 每行处理时,传入data + line_start和长度,不构造std::string
  • 注意最后一行可能无\n,需检查offset == size边界

Linux下mmap必须配MAP_POPULATE吗?

不必须,但强烈建议。默认mmap是懒加载(lazy mapping),首次访问某页才触发缺页中断,千万行文本跨数百MB时,随机访问页会引发大量中断抖动。加MAP_POPULATE让mmap系统调用期间预读全部页,实测在SSD上可减少 30%+ 总耗时。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • Windows对应的是FILE_ATTRIBUTE_NO_BUFFERING + CreateFileMapping,但效果弱于MAP_POPULATE
  • MAP_POPULATE会阻塞更久,适合启动即全量加载的场景;若只读前N行,可省略
  • 务必检查mmap返回值是否为MAP_FAILED,失败常见原因是RLIMIT_AS或/proc/sys/vm/max_map_count限制

行解析阶段如何避免成为新瓶颈?

内存映射解决的是IO带宽问题,但若每行要做sscanf或正则匹配,CPU立刻吃满。真实提速要配合解析优化:

  • 用std::from_chars替代std::stoi(C++17),无异常、无locale开销、零分配
  • 整数字段多时,手写跳过空白+ASCII转数字循环,比from_chars还快10–20%
  • 避免std::vector<:string></:string>存所有行——内存占用爆炸,改用结构体数组或预分配缓冲区
  • 如果行宽固定(如CSV列数恒定),直接按偏移计算字段起始,跳过\n扫描

最易被忽略的一点:mmap本身不解决换行符差异(\r\n vs \n),Windows生成的txt在Linux用mmap读,仍得手动跳过\r,否则字段错位。这个细节一漏,前面所有优化都白做。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

5839

3

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2078

7

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

2025.06.09

4394

18

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

2025.07.04

4531

25

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

339

31

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

5287

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2328

6

常见的编码方式
常见的编码方式

常见的编码方式有ASCII编码、Unicode编码、UTF-8编码、UTF-16编码、GBK编码等。想了解更多编码方式相关内容,可以阅读本专题下面的文章。

2023.10.24

1428

7

a和A对应的ASCII码数值
a和A对应的ASCII码数值

a的ascii码是65,a的ascii码是97;ascii码表中,一个字母的大小写数值相差32,一般知道大写字母的ascii码数值,其对应的小写字母的ascii码数值就算出来了,是大写字母的ascii码数值“+32”。想了解更多相关的内容,可阅读本专题下面的相关文章。

2024.10.24

5087

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习