Python中如何使用aiofiles实现高并发异步文件读写？-Python教程-PHP中文网

因为内置open()是同步阻塞调用，会卡住事件循环，导致协程无法并发；aiofiles通过线程池将文件I/O移出事件循环，提供真正异步接口，但需注意mode、encoding等参数陷阱及并发写入的安全控制。

python中如何使用aiofiles实现高并发异步文件读写？

为什么不能直接用内置open()配合async/await

因为内置的 open() 是同步阻塞调用，即使包在 async def 函数里，也会让整个事件循环卡住。你看到 CPU 占用低、但协程实际没并发——所有读写还是串行排队。aiofiles 的作用就是提供真正非阻塞的文件 I/O 封装，底层通过线程池（默认 concurrent.futures.ThreadPoolExecutor）把系统调用移出事件循环。

aiofiles.open() 的常用参数和陷阱

aiofiles.open() 接口和内置 open() 高度一致，但有几点必须注意：

mode 必须显式指定，比如 "r"、"w+"；不支持 "U"（通用换行符模式），会报 ValueError
encoding 在文本模式下必须传，否则返回 bytes，容易和预期不符（比如想读 str 却拿到 bytes）
不支持 newline 参数控制换行符处理，换行符行为由底层系统决定，跨平台时要小心
不能复用同一个 aiofiles.file.AsyncBufferedIOBase 对象多次 await file.read() —— 它不像同步文件对象那样自动维护偏移，每次读都从当前 offset 开始，但不会自动更新（除非用 await file.seek()）

并发读多个大文件的正确写法

常见错误是用 asyncio.gather() 直接包一堆 aiofiles.open()，结果触发大量同时打开文件，可能超出系统限制（OSError: [Errno 24] Too many open files）。稳妥做法是加限流：

import asyncio
import aiofiles
<p>async def read_one(path):
async with aiofiles.open(path, "r", encoding="utf-8") as f:
return await f.read(1024)  # 避免一次性读太大内存</p><p>async def read_many(paths):
sem = asyncio.Semaphore(10)  # 同时最多10个文件句柄
async def guarded_read(p):
async with sem:
return await read_one(p)
return await asyncio.gather(*[guarded_read(p) for p in paths])
</p>

注意：不要在 async with 外提前 await aiofiles.open()，否则文件对象可能在进入上下文前就被 GC 关闭。