C++如何使用内存映射文件mmap把超大数组存入硬盘-C++-PHP中文网

mmap映射超大数组到文件本质是建立虚拟内存与文件的按需交换关联，而非立即存盘；必须用map_shared、预先ftruncate文件大小，并通过msync确保落盘。

c++如何使用内存映射文件mmap把超大数组存入硬盘

Linux下用`mmap`映射超大数组到文件，不是“存入”，而是“按需交换”

直接说结论：mmap本身不负责“把数组存入硬盘”，它只是让一段虚拟内存与文件关联，后续读写触发页错误时由内核决定是否从磁盘加载或回写。你想要的“存超大数组”，本质是用mmap绕过malloc+write的拷贝开销，让内核管理持久化——但前提是必须用MAP_SHARED且文件已存在（或提前ftruncate）。

常见误解：以为mmap一调用，数据就立刻落盘。实际只有脏页被内核刷出（如msync、内存压力大、进程退出）才写入，中间可能全在内存里。

必须先open一个真实文件（不能是/dev/zero或MAP_ANONYMOUS，否则退出即丢）
文件大小要预先设好：ftruncate(fd, size)，否则mmap可能只映射到文件当前长度
务必用MAP_SHARED：只有它才保证修改最终同步到文件；MAP_PRIVATE改的是副本，关掉进程就没了
映射地址不用MAP_FIXED——除非你清楚自己在干啥，否则容易覆盖已有内存

`mmap`失败的三个高频原因和对应检查点

映射超大数组时mmap返回MAP_FAILED，别急着调大ulimit -v，先看这几点：

errno == ENOMEM：不是内存不够，很可能是文件没ftruncate，或文件系统不支持这么大映射（如某些FAT32分区单文件上限4GB）
errno == EACCES：文件打开没写权限（O_RDWR），或文件挂载时加了noexec/nosuid等限制（少见但存在）
errno == EINVAL：对齐问题——offset必须是页大小（getpagesize()）整数倍；或者length为0

调试建议：打印sizeof(size_t)确认是64位编译，用ls -lh看文件大小，用cat /proc/meminfo | grep -i huge排除透明大页干扰。

写入后立刻落盘？别依赖默认行为，显式`msync`更可控

如果你需要确保某段数据“此刻已写入磁盘”（比如程序崩溃前保活），不能等内核调度。必须调用msync：

C++ 算法竞赛自动化测试数据生成与校验框架

根据原题生成新题面、验证器及完整测试数据，自动套用 testlib 模板，用于用户要求生成测试数据时。

下载

msync(addr, length, MS_SYNC); // 同步写，阻塞直到落盘
// 或
msync(addr, length, MS_ASYNC); // 异步提交，不等完成

注意：MS_SYNC会卡住线程，对性能敏感场景慎用；MS_ASYNC只是发请求，仍需配合fsync(fd)才能保证文件元数据（如修改时间）也刷新。

只对MAP_SHARED映射有效；MAP_PRIVATE调msync无意义
可以只刷部分区域（addr + offset, len），不必整个映射区
频繁msync反而降低吞吐，建议批量修改后统一刷，或用定时器+脏页标记做增量同步

C++封装要点：RAII管理`mmap`生命周期，避免裸指针泄露

别手写munmap和close，C++该用RAII。核心是析构时自动munmap，并确保文件描述符关闭：

class MMapArray {
  void* addr_;
  int fd_;
  size_t len_;
public:
  MMapArray(const char* path, size_t len) : addr_(MAP_FAILED), fd_(-1), len_(len) {
    fd_ = open(path, O_RDWR | O_CREAT, 0644);
    if (fd_ == -1) throw std::runtime_error("open failed");
    if (ftruncate(fd_, len) == -1) throw std::runtime_error("ftruncate failed");
    addr_ = mmap(nullptr, len, PROT_READ | PROT_WRITE, MAP_SHARED, fd_, 0);
    if (addr_ == MAP_FAILED) throw std::runtime_error("mmap failed");
  }
  ~MMapArray() {
    if (addr_ != MAP_FAILED) munmap(addr_, len_);
    if (fd_ != -1) close(fd_);
  }
  template<typename t> T* data() { return static_cast<t>(addr_); }
};
</t></typename>

关键细节：