c++如何获取文件系统的物理扇区大小并依此对齐优化IO吞吐量【实战】

老瑶吖_9875

老瑶吖_9875

2026-03-25

521人浏览

原创

正确方法是用O_RDONLY|O_DIRECT打开裸设备后调用ioctl(fd, BLKPBSZGET, &phys)获取物理扇区大小,再用posix_memalign按该值对齐分配内存,并确保文件偏移和传输长度均按逻辑扇区对齐。

c++如何获取文件系统的物理扇区大小并依此对齐优化io吞吐量【实战】

Linux 下用 ioctl 读取块设备物理扇区大小

物理扇区大小(physical sector size)不是文件系统能直接暴露的,得查底层块设备。常见错误是只读 st_blksize 或硬编码 512/4096——这只能反映逻辑对齐建议,不是真实物理边界。

正确做法是打开设备节点(如 /dev/sda),调用 ioctl(fd, BLKPBSZGET, &phys)。注意:必须用 O_RDONLY | O_DIRECT 打开,否则部分内核返回 0 或 EINVAL;且不能对挂载中的文件系统路径(如 /mnt/data)操作,得退到裸设备。

  • BLKPBSZGET 是 Linux 特有,glibc 2.19+ 才定义,老系统需手动定义 #define BLKPBSZGET _IO(0x12, 118)
  • 返回值为 0 表示成功,phys 变量存入物理扇区字节数(常见 512、4096、8192)
  • 若设备不支持(如某些 NVMe 模拟盘),可能 fallback 到 BLKSSZGET(逻辑扇区),但这时你要意识到对齐效果会打折

posix_memalign 分配对齐内存缓冲区

即使知道物理扇区大小,用 malloc 分配的内存地址大概率不对齐,O_DIRECT IO 会直接失败并报 Invalid argument。必须用 posix_memalign 或 aligned_alloc(C11)申请页级对齐内存。

关键点:对齐值不能只填物理扇区大小——O_DIRECT 要求缓冲区地址、文件偏移、传输长度三者都按逻辑块大小(通常是 512B)对齐,但**强烈建议按物理扇区大小对齐**,尤其在多队列 NVMe 上,能减少控制器内部重映射开销。

  • 调用 posix_memalign(&buf, phys_sector_size, io_size),其中 io_size 必须是 phys_sector_size 的整数倍
  • 分配后记得用 memset(buf, 0, io_size) 清零,未初始化的对齐内存可能含脏数据,影响校验或元数据写入
  • 别用 new char[...] 或 std::vector——它们不保证地址对齐,std::pmr::polymorphic_allocator 也得配对齐资源,太重

open() 时启用 O_DIRECT 并验证文件偏移对齐

O_DIRECT 不是开个标志就完事。它要求每次 read()/write() 的文件偏移(offset)和缓冲区长度(count)都必须是逻辑块大小的整数倍——而逻辑块大小可用 ioctl(fd, BLKSSZGET, &logical) 获取,通常等于物理扇区大小,但不绝对(例如 Advanced Format 硬盘逻辑 4K / 物理 4K,但有些 SATA 盘逻辑 512 / 物理 4K)。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

最常踩的坑:以为只要缓冲区地址对齐就够了,结果 lseek() 后偏移没对齐,write() 直接返回 -1 并设 errno = EINVAL。

  • 检查当前偏移:off_t pos = lseek(fd, 0, SEEK_CUR); if (pos % logical_sector_size != 0) ...
  • 写入前强制对齐偏移:lseek(fd, (pos / logical_sector_size) * logical_sector_size, SEEK_SET)
  • O_DIRECT 会绕过 page cache,所以反复小 IO 性能反而更差——单次传输至少 4KB 起,最好 128KB~1MB

Windows 上用 DeviceIoControl 和 FILE_CASE_SENSITIVE?不,是 IOCTL_STORAGE_QUERY_PROPERTY

Windows 没有 ioctl 那套,得走存储类设备控制接口。别被文档里 “case sensitive” 这种字段名误导——真正要的是 StorageAccessAlignmentProperty,它返回 STORAGE_ACCESS_ALIGNMENT_DESCRIPTOR,里面 BytesPerPhysicalSector 字段才是物理扇区大小。

注意:必须用 CreateFile 打开设备路径(如 \\.\PhysicalDrive0),且权限要带 GENERIC_READ;普通文件路径(C:\data.bin)调用这个 IOCTL 会失败。

  • 调用前先 GetLastError() 清零,否则旧错误码干扰判断
  • 返回结构体中 BytesPerLogicalSector 和 BytesPerPhysicalSector 可能不同,优先以后者为准做内存和偏移对齐
  • 若 DeviceIoControl 返回 FALSE 且 GetLastError() == ERROR_INVALID_FUNCTION,说明驱动不支持该查询,此时保守按 4096 对齐

物理扇区对齐不是“设了就快”,而是避免硬件层面的读-改-写放大。一旦错位,哪怕只差 1 字节,SSD 控制器也可能触发整物理页擦除重写——这点在高吞吐日志写入场景里,延迟毛刺会非常明显。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关专题

更多
typedef和define区别
typedef和define区别

typedef和define区别在类型检查、作用范围、可读性、错误处理和内存占用等。本专题为大家提供typedef和define相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.26

313

5

define的用法
define的用法

define用法:1、定义常量;2、定义函数宏:3、定义条件编译;4、定义多行宏。更多关于define的用法的内容,大家可以阅读本专题下的文章。

2023.10.11

619

5

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.20

3628

5

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1809

3

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.06.27

1211

7

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

2025.06.09

5154

18

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

2025.07.04

5331

25

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3208

3

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

2025.10.17

5249

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习