c++如何实现基于内存映射的文件快速排序算法【深度】

梦瑶酱_8314

梦瑶酱_8314

2026-04-13

865人浏览

原创

内存映射文件排序不能直接用std::sort,因mmap区域虽可随机读写但不满足其连续可写要求,且大文件全映射易OOM,文本行需解析导致长度不匹配无法原地存储;应采用分块映射+外部归并。

c++如何实现基于内存映射的文件快速排序算法【深度】

内存映射文件排序为什么不能直接用 std::sort

因为 std::sort 要求随机访问迭代器指向连续、可写、可寻址的内存,而 mmap 映射的区域虽支持随机读写,但若文件过大(比如几十 GB),全部映射会触发 ENOMEM;更关键的是,若原始文件是文本行(如每行一个整数),数据不是结构化数组,不能直接按 int* 解释 —— 你得先解析,而解析结果不能原地存回映射区(长度不匹配)。常见错误是:用 mmap 读完再 std::vector 全载入内存,这反而失去“大文件”意义。

分块映射 + 外部归并才是可行路径

真正能扩展到 TB 级的方案是“内存映射分块排序 + 多路归并”,核心是控制单次映射大小,避免 OOM,同时复用映射页缓存。实操要点:

  • 用 mmap 每次只映射固定大小(如 128MB)的原始文件片段,配合 std::string_view 或自定义解析器逐行提取数值,存入 std::vector 并 std::sort
  • 排序后写入临时文件(write() 或 msync(MS_SYNC) 后 munmap),不要尝试 mmap 写回原文件偏移 —— 行长度变化会导致覆盖错位
  • 所有临时文件生成后,用 std::priority_queue 做 k-路归并:每个临时文件打开一个 ifstream,读取首行建堆,每次 pop 最小值并从对应流补充下一行
  • 注意 mmap 的 prot 参数:只读排序用 PROT_READ;若需写临时映射缓冲区(如预分配输出区),则用 PROT_READ | PROT_WRITE,且 flags 必须含 MAP_PRIVATE(避免脏页刷回原文件)

mmap 对齐与边界处理容易崩在哪

典型崩溃点不是算法逻辑,而是系统调用约束被忽略:

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • offset 参数必须是 sysconf(_SC_PAGESIZE) 的整数倍,否则 mmap 返回 MAP_FAILED —— 别硬写 0 或文件偏移,要向下对齐到页首
  • 映射长度 length 可以小于剩余文件字节数,但必须保证 offset + length ≤ 文件大小;否则 read() 类行为未定义,segfault 可能延迟到首次访问越界页
  • 文本解析时,若某行跨两个映射块(如换行符在块尾),strchr(buf, '\n') 会失败。正确做法是预留 1–2KB 重叠缓冲区,或用 memchr 扫描时检查是否到达 buf + length - 1,若是则回退并重新映射
  • Windows 下对应 API 是 CreateFileMapping + MapViewOfFile,页对齐值为 GetSystemInfo().dwAllocationGranularity,不是 4096

性能瓶颈往往卡在 I/O 调度而非 CPU

实测中,当临时文件数 > 8 且磁盘是 SATA SSD 时,归并阶段的 lseek + read 随机跳转会吃掉 60%+ 时间。优化方向很实际:

  • 临时文件数量控制在 4–8 个以内,靠单块增大(如 256MB/块)降低归并路数,而非盲目分更多小块
  • 归并时对每个输入流使用 setvbuf(..., _IOFBF, ..., 1 设置大缓冲区,减少系统调用次数
  • 若目标文件系统支持(如 XFS/ext4),用 posix_fadvise(fd, offset, len, POSIX_FADV_DONTNEED) 在读完一块后显式丢弃页缓存,避免挤占后续映射空间
  • 别用 std::endl 写输出文件 —— 它强制 flush,换成 '\n' + 定期 fflush,吞吐量可提升 2–3 倍

真正的难点不在“怎么排序”,而在“怎么让 mmap 不反噬性能”:页对齐算错一次,整个流程就段错误;临时文件没关 fd,开到 1024 就 EMFILE;归并缓冲区太小,I/O 成瓶颈。这些细节比算法本身更决定成败。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++ 排序算法

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

2023.09.04

1158

7

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

7079

3

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.29

3385

6

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

2025.08.29

4428

10

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.29

2985

10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

6547

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2728

6

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

2023.09.19

1947

6

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.26

3399

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习