怎么通过异步IO接口AIO实现真正的非阻塞文件读写

秋枫同学_3999

秋枫同学_3999

2026-04-07

510人浏览

原创

linux下真正可用的高性能异步文件io是io_uring:它内核原生支持、无线程切换开销、兼容buffered/direct模式,而posix aio多为线程池模拟且o_direct对齐要求严苛;需≥5.1内核,预注册fd/buffer,避免小io用o_direct,单ring配单消费者线程确保安全。

怎么通过异步io接口aio实现真正的非阻塞文件读写

Linux 下 io_uring 才是当前真正可用的高性能异步文件 IO

直接用 POSIX AIO(aio_read/aio_write)基本无法实现“真正的非阻塞文件读写”——它在大多数 Linux 发行版中底层仍走线程池模拟,系统调用会阻塞线程,且不支持普通文件的 direct I/O 异步路径。glibc 的 libaio 接口也仅对 O_DIRECT 文件有效,而开启 O_DIRECT 有严格对齐要求(buffer 地址、长度、文件 offset 都需 512B 对齐),稍有不慎就返回 EINVAL。

实操建议:

  • 确认内核版本 ≥ 5.1,优先采用 io_uring:它由内核原生支持,无线程切换开销,支持 buffered 和 direct 两种模式,且 API 更简洁
  • 避免在生产环境依赖 aio_suspend 或 sigwaitinfo 等 POSIX AIO 通知机制——它们响应延迟高、信号易丢失、难以与 event loop 安全集成
  • 若必须用传统 AIO,务必用 io_setup + io_submit + io_getevents(即 libaio 原始接口),而非 glibc 封装的 aio_read;但即便如此,ext4/xfs 对 direct I/O 的异步完成保证仍有限

io_uring 初始化和提交读写请求的关键步骤

核心不是“发起调用”,而是正确准备 submission queue (SQ) 和处理 completion queue (CQ)。常见错误是未预注册 buffer 或文件 fd,导致每次 submit 都触发内核拷贝或权限检查,吞吐骤降。

实操建议:

  • 初始化时调用 io_uring_queue_init(32, &ring, 0),队列大小建议为 2 的幂(如 32/64/128),太小易满,太大浪费 cache line
  • 用 io_uring_register_files(&ring, &fd, 1) 预注册文件 fd;否则每个 IORING_OP_READ 请求都需额外校验,性能下降 30%+
  • buffer 若复用,用 io_uring_register_buffers(&ring, &iovec, 1) 注册,避免每次提交都做用户/内核内存映射
  • 提交 read 请求示例:
    struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);<br>io_uring_prep_read(sqe, fd, buf, len, offset);<br>io_uring_sqe_set_data(sqe, user_data_ptr);<br>io_uring_submit(&ring);

为什么 O_DIRECT 在 io_uring 中反而可能降低小 IO 性能

很多人默认开启 O_DIRECT 以为“更异步”,但实际中,小于 4KB 的随机读写若强制 direct,会绕过 page cache 导致磁盘寻道激增;同时 io_uring 的 buffered 模式(默认)已足够异步——内核在后台完成 page cache 填充后才触发 CQE,应用层无感知阻塞。

实操建议:

  • 普通日志、配置文件、数据库 WAL 等顺序写场景,关闭 O_DIRECT,靠内核 write-back 缓冲提升吞吐
  • 仅当明确需要避免 double buffering(如自研存储引擎管理自己的 page cache)时,才启用 O_DIRECT,并确保 buf 地址通过 posix_memalign(512, size) 分配
  • 用 io_uring_prep_read_fixed 替代 io_uring_prep_read 配合预注册 buffer,可省去每次提交时的地址合法性检查

如何安全地在多线程中复用一个 io_uring 实例

io_uring 本身不是线程安全的:多个线程并发调用 io_uring_submit 可能破坏 SQ ring 结构;而共享一个 ring 却用各自线程调用 io_uring_wait_cqe,又容易因 CQE 消费竞争导致事件丢失。

实操建议:

  • 单 ring + 单消费者线程:所有 submit 由任意线程发起(需加 io_uring_sq_lock 或原子操作保护 SQ tail),但 CQE 统一由一个专用 IO 线程通过 io_uring_wait_cqe_nr 拉取并分发
  • 避免在 signal handler 中调用任何 io_uring_* 函数——它内部使用 futex,非 async-signal-safe
  • 若必须多消费者,用 IORING_SETUP_IOPOLL 模式 + 轮询 CQ,但该模式仅适用于 NVMe 等低延迟设备,且禁用中断,CPU 占用恒定偏高

真正难的不是发起异步请求,而是让 buffer 生命周期、fd 状态、ring 内存可见性三者在并发下始终一致。很多崩溃源于释放了还在 ring 中 pending 的 buffer,或者 close 了已注册的 fd。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

10857

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

7982

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

6932

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1164

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

948

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1416

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2869

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20151

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1255

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.8万人学习