唯一安全用法是 async with aiofiles.open(),直接调用或混用同步 with 会导致协程未执行、阻塞事件循环或资源泄漏;read() 仍会全量加载内存,大文件需用 read(8192) 分块读取。

async with aiofiles.open() 是唯一安全的用法
直接调用 aiofiles.open() 返回一个协程对象,不是文件句柄;不 await 就直接传给 .read() 会报 TypeError: object AsyncContextManager can't be used in 'await' expression。很多人卡在这一步,本质是混淆了“打开动作”和“打开结果”。
正确姿势只有一种:async with aiofiles.open(...)。它内部自动处理 await、异常清理和 close,漏写 async with 或写成普通 with 都会导致资源泄漏或 RuntimeError。
- 别写
fp = aiofiles.open(...),这只会得到一个协程,没执行 - 别写
with aiofiles.open(...) as f:,这是同步语法,会阻塞 EventLoop - 必须写
async with aiofiles.open(...) as f:,且所有读写操作都在这个块内
read() 和 readlines() 的内存风险比想象中大
aiofiles 不改变文件读取本身的内存行为——await f.read() 仍是一次性把整个文件载入内存,和 open().read() 一样危险。异步 ≠ 流式 ≠ 内存友好。大文件(比如 >100MB)用 read() 依然可能 OOM。
真正防阻塞 + 节省内存的方式是分块读:await f.read(8192)。注意单位是字节,不是行;如果按行处理,得自己拼接缓冲区,因为 readline() 在 aiofiles 中不支持 chunked 模式。
-
await f.read():适合小文件( -
await f.read(65536):推荐默认 chunk size,平衡 IO 次数和内存占用 -
await f.readlines():慎用!等价于read().splitlines(True),整文件进内存再切分
写文件时 mode='w' 会清空原文件,且无事务保障
aiofiles.open(path, 'w') 在底层调用的是 os.open(..., os.O_WRONLY | os.O_CREAT | os.O_TRUNC),O_TRUNC 标志导致文件一打开就被截断为 0 字节。如果写入中途出错(比如磁盘满、权限丢失),原内容已不可恢复。
没有类似 shutil.move(tempfile, realpath) 的原子替换机制。想保底,得手动实现临时文件 + 重命名:
async with aiofiles.open(tmp_path, 'w') as f:
await f.write(data)
os.replace(tmp_path, real_path) # 这步必须同步,且需确保同文件系统
- 不要依赖
aiofiles自带“安全写入”,它不提供原子性 -
os.replace()是原子的,但仅限同一挂载点;跨分区会失败,需 fallback 到 copy + unlink - 写入前检查磁盘空间?
shutil.disk_usage()是同步的,别在协程里直接调,应提前或用线程池
Windows 上 loop.run_in_executor 是更稳的选择
aiofiles 底层靠 loop.run_in_executor() 把 open/read/write 扔进线程池执行。在 Windows 上,尤其是 Python 3.8+ 使用 ProactorEventLoop 时,某些场景(如大量并发小文件)会出现 RuntimeError: Cannot enter into task while another task is running —— 这是 loop 和线程池交互的已知边界问题。
与其调试 aiofiles 的兼容性,不如对简单场景直接用标准库 + 线程池:
loop = asyncio.get_running_loop()
await loop.run_in_executor(None, lambda: Path('x.txt').read_text())
-
aiofiles价值在统一 async with 语义和自动 cleanup,不是性能优势 - 纯读写不涉及上下文管理?用
run_in_executor更可控,也避开了aiofiles对Path/io.BytesIO等的不支持 - Windows + Python aiofiles 的
stat()、unlink()可能抛NotImplementedError,这些操作本就该走run_in_executor
事情说清了就结束。异步文件 IO 的核心矛盾从来不是“怎么写 async”,而是“什么时候不该用 async”。大文件流式处理、原子写入、跨平台健壮性——这些地方,aiofiles 提供的只是语法糖,不是银弹。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











