C++实现高性能的内存映射读取 _ CreateFileMapping实战案例【源码】

夏强姑娘_1690

夏强姑娘_1690

2026-04-14

337人浏览

原创

createfilemapping读大文件更快因绕过用户态拷贝、减少内核/用户空间搬运;适用于几十mb以上且需随机访问的场景,但小文件或顺序读可能更慢。

c++实现高性能的内存映射读取 _ createfilemapping实战案例【源码】

为什么CreateFileMapping读大文件比fread快?

因为内存映射不走用户态缓冲区拷贝,绕过多次内核/用户空间数据搬运。当文件大于几十MB、且需随机访问(比如跳着读某几块结构体),CreateFileMapping + MapViewOfFile 的延迟和吞吐优势立刻显现。但注意:它不是“一定更快”——小文件、顺序流式读取反而可能因页表建立开销更慢。

常见误判点:没设对dwMaximumSizeHigh/dwMaximumSizeLow导致映射失败却返回NULL;或用INVALID_HANDLE_VALUE直接传给CreateFileMapping而不检查CreateFile是否真成功。

  • 必须用GENERIC_READ打开文件,不能只用FILE_SHARE_READ
  • flProtect = PAGE_READONLY足够读取,别用PAGE_READWRITE徒增页表权限开销
  • 文件大小超4GB时,dwMaximumSizeHigh必须非零,否则高位被截断 → 映射区域变小甚至失败

如何安全映射超4GB文件并避免MapViewOfFile返回NULL?

关键在两处:一是CreateFileMapping的大小参数必须拆成高低32位;二是MapViewOfFile的dwNumberOfBytesToMap不能超过实际文件大小,且需对齐到系统页边界(通常4KB)。

错误示例:MapViewOfFile(hMap, FILE_MAP_READ, 0, 0, 0) —— 第五个参数为0会尝试映射整个对象,但若文件>2GB且hMap是32位进程创建的,可能触发内部截断。

  • 先调GetFileSizeEx获取真实大小(LARGE_INTEGER),再拆成DWORD高低位传给CreateFileMapping
  • MapViewOfFile的dwNumberOfBytesToMap建议显式指定,例如min(100ULL * 1024 * 1024, fileSize),避免隐式全映射风险
  • 映射后务必用IsBadReadPtr(仅调试)或直接访问首字节+GetLastError()判断是否真正可读,Windows不保证MapViewOfFile成功就等于内存立即可用

CreateFileMapping的hFile能传INVALID_HANDLE_VALUE吗?什么场景下必须传真实句柄?

能传,但含义完全不同:INVALID_HANDLE_VALUE创建的是“稀疏”内存映射(即 backing store 在页面提交时才分配物理内存),适合做进程间共享内存或临时大缓冲区;而传真实文件句柄才是“文件映射”,数据持久化且可随机读磁盘内容。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载

你如果目标是“读已有磁盘文件”,必须传CreateFile返回的有效句柄,否则映射出来是一片全零内存,跟原文件内容完全无关。

  • 传INVALID_HANDLE_VALUE时,dwMaximumSizeHigh/Low决定总大小,与磁盘无关
  • 传真实文件句柄时,dwMaximumSizeHigh/Low不能小于文件实际大小,否则MapViewOfFile可能只映射前一部分
  • 文件打开时若用了FILE_ATTRIBUTE_TEMPORARY,系统可能跳过磁盘写缓存 → 对后续映射读性能有隐性提升

释放顺序错了会导致句柄泄漏还是崩溃?

不会崩溃,但会泄漏内核资源:UnmapViewOfFile必须在CloseHandle(hMap)之前调用,且每个MapViewOfFile配一个UnmapViewOfFile。Windows允许重复UnmapViewOfFile,但CloseHandle(hMap)后继续UnmapViewOfFile会失败(返回FALSE,GetLastError()为ERROR_INVALID_HANDLE)。

最容易被忽略的一点:映射指针本身不是句柄,不能用CloseHandle关;而hMap一旦关闭,所有基于它的映射视图自动失效,再访问就是访问非法内存(AV异常)。

  • 典型安全模式:先UnmapViewOfFile(pView),再CloseHandle(hMap),最后CloseHandle(hFile)
  • 多线程中若多个线程共用同一映射视图,确保所有线程停止访问后再UnmapViewOfFile
  • RAII封装时,析构函数里按上述逆序释放,且对pView和hMap加空指针检查

映射大文件时,页错误处理、NUMA节点亲和性、以及映射区域是否跨页边界对性能影响远大于API调用本身——这些不在CreateFileMapping接口层面暴露,但实测中常成为瓶颈。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1678

6

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

2025.06.09

4374

18

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

2025.07.04

4511

25

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

339

31

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3088

3

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

2025.10.17

4609

12

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.12.29

3729

9

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

2026.01.19

426

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习