c++如何实现基于内存的临时文件系统_匿名映射应用【技巧】

风杰酱_1106

风杰酱_1106

2026-04-11

618人浏览

原创

mmap+map_anonymous(linux/macos)或virtualalloc(windows)可实现零磁盘i/o的进程内内存文件系统,支持按需分页、内存保护、共享与动态扩容,天然适配文件语义并兼容fd类系统调用。

c++如何实现基于内存的临时文件系统_匿名映射应用【技巧】

直接用 mmap 配合 MAP_ANONYMOUS(Linux/macOS)或 VirtualAlloc(Windows)就能实现零磁盘 I/O 的“内存文件系统”核心——它不是挂载的 FUSE,也不是 tmpfs,而是进程内按需分配、可自由寻址、无文件路径的纯内存字节数组。

为什么不用 malloc?mmap + MAP_ANONYMOUS 的实际优势

表面上看,malloc 也能分配内存;但匿名映射的关键在于:支持按需分页(lazy allocation)、可设置读写/只读/不可执行保护、能跨线程共享(配合 MAP_SHARED)、且可被 mremap 动态扩容(Linux)。更重要的是——它天然适配“文件语义”:你可以用 lseek+read/write 模拟文件操作(通过 memcpy 或指针偏移),甚至伪造 stat 返回假的 size/mtime。

  • malloc 分配的内存无法直接传给需要 int fd 的系统调用(如 sendfile、splice);而 mmap 区域可通过 memfd_create(Linux)封装成真正的 fd
  • MAP_ANONYMOUS | MAP_PRIVATE 是默认行为,但若需多进程共享数据,请改用 MAP_SHARED 并确保父进程 fork 后子进程能访问
  • 注意:macOS 不支持 MAP_ANONYMOUS,得用 MAP_ANON(二者宏值不同,需 #ifdef __APPLE__ 判断)

mmap 分配后如何模拟“文件读写”行为

你不需要真的实现 VFS,只需把映射地址当缓冲区头指针,用偏移+长度做边界检查即可。关键是要统一“当前读写位置”和“逻辑文件大小”,避免越界。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 维护两个变量:size_t logical_size(用户认为的文件长度)和 char* base_ptr(mmap 返回值)
  • read(fd, buf, n) 等价于:memcpy(buf, base_ptr + offset, min(n, logical_size - offset)),返回实际拷贝字节数
  • write(fd, buf, n) 要先检查 offset + n > logical_size,若超限则需用 mremap 扩容(Linux)或重新 mmap + memcpy(跨平台保守做法)
  • 不要在每次 write 后调用 msync——除非你明确需要落盘同步;MAP_ANONYMOUS 本身就不涉及磁盘,msync 在这里是冗余的

Windows 下等效实现:用 VirtualAlloc 替代 mmap

Windows 没有 MAP_ANONYMOUS,但 VirtualAlloc(NULL, size, MEM_COMMIT | MEM_RESERVE, PAGE_READWRITE) 效果一致:分配保留+提交的可读写内存页,不关联任何文件句柄。

  • 注意 VirtualAlloc 的 size 必须是系统页大小(通常 4KB)的整数倍;不足时需向上取整:((size + 4095) & ~4095)
  • 扩容只能靠 VirtualAlloc 新分配一块更大的内存 + memcpy 复制 + VirtualFree 释放旧块;没有类似 mremap 的原子扩容接口
  • 若需跨进程共享,必须搭配 CreateFileMapping + INVALID_HANDLE_VALUE(即内存映射文件对象),而非纯 VirtualAlloc

真正难的不是分配内存,而是让上层代码无感地把这块内存当“文件”用——比如 libcurl 的 CURLOPT_READFUNCTION、SQLite 的 VFS 层、或者自定义的 std::streambuf。这些地方容易忽略偏移更新、大小截断、以及多线程下 logical_size 的原子更新。别急着封装类,先写个裸指针 + 全局 offset 的原型跑通读写逻辑再说。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1678

6

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

6319

3

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.29

3065

6

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

2025.08.29

3968

10

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.29

2745

10

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

359

31

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3148

3

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

2025.10.17

4889

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习