如何在Python中使用aiofiles实现异步文件读写-Python教程-PHP中文网

不能直接用open()做异步文件操作，因为它是阻塞式系统调用，会卡住asyncio事件循环；aiofiles通过线程池将阻塞i/o“伪装”为awaitable对象，必须使用其封装接口（如aiofiles.open()并await read/write），且需注意模式、缓冲、编码等参数限制。

如何在python中使用aiofiles实现异步文件读写

为什么不能直接用 `open()` 做异步文件操作

aiofiles 不是给 open() 加个 async 就能用的——标准库的 open() 是阻塞式系统调用，哪怕包在 async def 里，也会让整个事件循环卡住。常见错误现象是：写了 async def read_file(): return open(...).read()，结果其他协程全被拖慢，asyncio.sleep(0) 都救不回来。

根本原因是底层 read()、write() 等系统调用会进入内核态并等待 I/O 完成，而 Python 的 asyncio 默认不接管这些调用。aiofiles 的作用，就是用线程池（默认 concurrent.futures.ThreadPoolExecutor）把阻塞操作“伪装”成可等待对象，避免阻塞事件循环。

所以必须用 aiofiles 提供的封装接口，而不是试图改造内置 open()：

aiofiles.open() 返回一个支持 await 的文件对象，行为类似 open()，但所有 I/O 方法都返回 awaitable
不能对它调用 .readline() 后直接用，得 await f.readline()
不支持 for line in f: 这种同步迭代，得用 async for line in f:（仅限文本模式且启用了 buffering=1 或行缓冲）

`aiofiles.open()` 的常用参数和陷阱

签名和内置 open() 高度一致，但有几处关键差异必须注意：

mode 支持 'r'、'w'、'rb'、'wb' 等，但不支持 'x'（独占创建）——会抛 ValueError: invalid mode: 'x'
encoding 只在文本模式下生效；二进制模式下传 encoding 会被忽略，但不会报错
buffering 默认为 -1（系统默认），但若设为 0（无缓冲），会触发 OSError: Can't have unbuffered text I/O —— 二进制模式才能用 buffering=0
不支持 newline 参数控制换行符处理（Python 3.12+ 的 aiofiles 已部分支持，但兼容性差，建议回避）

典型安全写法：

import aiofiles
<h1>✅ 推荐：显式指定 encoding + 文本模式</h1><p>async with aiofiles.open('data.txt', mode='r', encoding='utf-8') as f:
content = await f.read()</p><h1>✅ 二进制安全读取（不依赖编码）</h1><p>async with aiofiles.open('image.png', mode='rb') as f:
data = await f.read()
</p>

异步读大文件时别用 `await f.read()`

直接 await f.read() 会把整个文件一次性加载进内存，失去异步意义，还可能 OOM。真实场景中，应该按块或按行流式处理：

python-script-generator

快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。

下载

按固定大小读块：await f.read(8192)，循环直到返回空 bytes/string
按行读（文本模式）：async for line in f: —— 注意这要求 aiofiles.open(..., buffering=1) 或 newline 参数配合，否则可能卡住或丢行
写入同理：避免 await f.write(huge_string)，改用分批 await f.write(chunk)

示例：安全读取超大日志文件

async with aiofiles.open('access.log', mode='r', encoding='utf-8', buffering=1) as f:
    async for line in f:
        if 'ERROR' in line:
            print(line.strip())

这里 buffering=1 启用行缓冲，让 async for 能逐行触发；没这个参数，async for 可能一直等不到换行符而挂起。