C++ 如何将 vector 数据按页边界对齐并高速写入磁盘

直接write() vector数据性能差，因内存未页对齐触发内核缓冲区拷贝；需用posix_memalign分配4KB对齐内存、O_DIRECT标志及长度/偏移对齐实现零拷贝写入。

c++ 如何将 vector 数据按页边界对齐并高速写入磁盘 _ io 优化【干货】

为什么直接 `write()` vector 数据会导致 IO 性能差

因为磁盘和内核页缓存（page cache）以 4KB（或更大，如 64KB）为单位调度，而 std::vector 的内存通常由 malloc 或 new 分配，地址不保证对齐。若写入起始地址未按页边界（如 4096 字节）对齐，内核会触发「缓冲区拷贝」：先将你的非对齐数据复制到一个对齐的临时页中，再提交 IO——这额外拷贝在大数据量下显著拖慢吞吐。

常见现象：write() 耗时波动大、iostat 显示 %util 高但实际吞吐远低于磁盘标称带宽、perf record -e page-faults 显示大量 minor faults。

Linux 下用 posix_memalign(&ptr, 4096, size) 分配对齐内存，而非 new uint8_t[size]
分配后必须用 memset(ptr, 0, size) 清零（避免触发写时复制 fault）
确保 vector 大小是页大小整数倍；不足则补零（否则 write() 仍可能触发内部对齐处理）
不要对 std::vector 自身调用 data() 后强行 reinterpret_cast —— 它的底层内存几乎一定不对齐

如何用 `posix_memalign` + `write()` 实现零拷贝页对齐写入

核心是绕过 std::vector 的内存管理，自己控制对齐分配与生命周期。C++17 起可结合 std::aligned_alloc，但注意它不保证 zero-initialized，需手动清零。

void write_aligned(const std::string& path, const uint8_t* data, size_t len) {
    int fd = open(path.c_str(), O_WRONLY | O_DIRECT); // 关键：O_DIRECT 绕过 page cache
    if (fd == -1) { /* handle error */ }
<pre class="brush:php;toolbar:false;">// 确保 data 地址 4096 对齐，且 len 是 4096 倍数
ssize_t n = write(fd, data, len);
close(fd);

}

O_DIRECT 是关键开关：它要求用户空间缓冲区地址、长度、文件偏移全部按设备逻辑块大小（通常是 512B 或 4KB）对齐，否则 write() 直接返回 -1 并设 errno = EINVAL
若用 O_SYNC 替代 O_DIRECT，虽不用对齐，但每次写都等落盘，吞吐暴跌；O_DIRECT + 对齐才是高吞吐解法
写入前检查：if ((uintptr_t)data % 4096 != 0 || len % 4096 != 0)，不满足就 abort 或 fallback 到普通 write

`O_DIRECT` 下必须处理的三个硬约束

违反任意一条都会导致 write() 失败并返回 EINVAL，不是偶发错误，而是系统强制校验。

C++14

C++14 对 C++11 的修正与增强版本，适合旧系统维护和较老工具链兼容。

下载

用户缓冲区地址必须页对齐：(uintptr_t)buf % getpagesize() == 0（getpagesize() 通常为 4096）
写入字节数必须是逻辑块大小整数倍：SSD 多为 512B，但内核常按 4KB 对齐，稳妥起见统一用 4096
文件偏移（lseek 或 pwrite 的 offset 参数）也必须 4096 对齐；追加写时用 pwrite(fd, buf, len, offset) 更可控

示例错误：write(fd, vec.data(), vec.size()) 几乎必然失败——vec.data() 不对齐、vec.size() 很难凑整、offset 默认是当前文件位置（未必对齐）。

更实用的方案：用 `mmap` + `msync` 替代 `write`

当需要频繁写入、且总数据量较大（>100MB）时，mmap 比 write 更省心：只要映射地址对齐，后续 memcpy 就自动享受页对齐优势，且支持随机写。

int fd = open(path.c_str(), O_RDWR | O_CREAT, 0644);
ftruncate(fd, total_size); // 预分配
void* addr = mmap(nullptr, total_size, PROT_READ | PROT_WRITE,
                  MAP_SHARED | MAP_HUGETLB, fd, 0); // MAP_HUGETLB 可选，用大页
// 确保 addr 对齐：mmap 返回值本身已按页对齐，无需额外 posix_memalign
memcpy(addr, your_data, data_len);
msync(addr, data_len, MS_SYNC); // 触发落盘
munmap(addr, total_size);