c++如何获取文件系统的物理块大小并根据块大小优化IO读写效率【进阶】

酷明大大_4281

酷明大大_4281

2026-03-29

196人浏览

原创

linux 下应使用 statvfs 获取 f_bsize 作为文件系统推荐 i/o 对齐大小,而非硬编码 4096;o_direct 场景必须用 posix_memalign 分配内存,并确保缓冲区地址、读写长度和文件偏移均按 f_bsize 对齐。

c++如何获取文件系统的物理块大小并根据块大小优化io读写效率【进阶】

Linux 下用 statfs 或 statvfs 获取物理块大小

文件系统报告的“块大小”不等于磁盘物理扇区或 RAID 条带大小,但它是内核对底层 I/O 对齐建议最直接的来源。优先用 statvfs(POSIX 标准),它返回的 f_bsize 是推荐的文件系统 I/O 缓冲区大小,不是硬编码的 4096。

常见错误是误读 f_frsize(基本分配单元)或 f_blocks(总块数)——它们和 I/O 对齐无关;真正该用的是 f_bsize。

  • statvfs 返回值稳定,跨 ext4/xfs/btrfs 均有效,但不反映 NVMe 的真实扇区粒度(需额外查 /sys/block/*/queue/logical_block_size)
  • 若程序需严格对齐到设备物理扇区(如 mmap + O_DIRECT 场景),f_bsize 可能偏大(例如 XFS 默认 65536),此时应 fallback 到 ioctl(fd, BLKPBSZGET, &phys)
  • 示例:获取当前路径所在文件系统的推荐块大小
#include <sys>
struct statvfs sv;
if (statvfs(".", &sv) == 0) {
    size_t recommended_io_size = sv.f_bsize; // 这才是你该对齐的尺寸
}</sys>

C++ 中对齐内存分配必须用 posix_memalign 而非 new

用 new 或 malloc 分配的内存几乎必然不对齐到 4K/64K,导致 O_DIRECT 读写直接失败并报错 Invalid argument。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

根本原因:glibc 的 malloc 仅保证 16 字节对齐,而 O_DIRECT 要求地址、缓冲区长度、文件偏移三者均按 f_bsize 对齐。

  • 必须用 posix_memalign(&buf, alignment, size),其中 alignment 至少为 f_bsize,且必须是 2 的幂
  • 不能用 aligned_alloc(C++17),它在某些 libc 版本中对齐行为不一致;std::pmr::monotonic_buffer_resource 也不可控
  • 释放时用 free(buf),不是 delete[] —— 这点极易出错

O_DIRECT 读写必须同时满足三个对齐条件

只对齐缓冲区地址是不够的,O_DIRECT 会检查三处:用户缓冲区地址、读写长度、文件起始偏移。任一不满足就返回 -1 并设 errno = EINVAL。

  • 文件打开必须带 O_DIRECT 标志(open(path, O_RDONLY | O_DIRECT)),且不能与 O_APPEND 共存
  • 每次 read()/write() 的 count 必须是 f_bsize 的整数倍(不能是 4096 的倍数,而是 f_bsize 的倍数)
  • 文件偏移(offset 参数或当前文件位置)也必须是 f_bsize 的整数倍
  • 绕过 page cache 后,小 IO 性能反而更差——O_DIRECT 适合 ≥ 128KB 的连续读写,别用它读 1KB 配置文件

Windows 上没有等价的 f_bsize,得查卷参数和设备属性

Windows 没有 POSIX 的 statvfs,也不能用 O_DIRECT。替代方案是 CreateFile 开启 FILE_FLAG_NO_BUFFERING,但它强制要求所有操作满足三重对齐,且对齐基准是卷的“扇区大小”,而非文件系统块大小。

  • 用 GetDiskFreeSpace 获取 lpBytesPerSector(逻辑扇区大小),这是最低对齐单位;lpBytesPerCluster 是簇大小,可作缓冲区参考,但非强制
  • FILE_FLAG_NO_BUFFERING 下,缓冲区地址、长度、文件偏移都必须是 lpBytesPerSector 的整数倍(通常为 512 或 4096)
  • 注意:NTFS 压缩卷、ReFS、BitLocker 加密卷可能不支持 FILE_FLAG_NO_BUFFERING,调用 WriteFile 会失败并返回 ERROR_INVALID_PARAMETER
对齐不是加个 alignas(4096) 就完事的——它只管变量声明时的栈/全局对齐,不管堆上运行时分配的地址。真正影响 O_DIRECT 或 FILE_FLAG_NO_BUFFERING 的,是每次 read/write 调用前那块内存的实际地址值。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关专题

更多
counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.20

3268

5

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

5987

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2548

6

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

5987

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2548

6

数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

2023.11.13

3091

4

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.12.29

945

3

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.26

3279

3

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.27

2838

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习