直接用 aiohttp.ClientSession() 会报“Event loop is closed”,因其未在 async with 中管理生命周期,导致 session 在事件循环关闭后仍尝试清理资源;正确做法是必须在 async def 内用 async with aiohttp.ClientSession() as session: 包裹所有请求。

为什么直接用 aiohttp.ClientSession() 会报 “Event loop is closed”?
常见于在 async def 外调用 session.get(),或函数返回后手动调用 loop.close()。Python 3.11 默认使用 asyncio.Runner,不再推荐手动管理事件循环。正确做法是:所有异步操作必须包裹在同一个 asyncio.run() 或 asyncio.Runner 生命周期内,且 ClientSession 必须在 async with 中创建和销毁。
错误示例:
session = aiohttp.ClientSession()<br>await session.get("https://example.com")<br>await session.close() # 风险:可能在 loop 已退出后执行
正确写法:
async def fetch(url):<br> async with aiohttp.ClientSession() as session:<br> async with session.get(url) as resp:<br> return await resp.text()
如何控制并发数避免被封或超时?
aiohttp 本身不提供内置的并发限流,靠 asyncio.Semaphore 实现最轻量、最可控。不要依赖 limit 参数(它只限制连接池大小,不影响并发请求数)。
-
semaphore = asyncio.Semaphore(10)表示最多 10 个协程同时进入请求逻辑 - 必须在
async with semaphore:块内发起session.get(),否则限流失效 - 超时要分层设置:
timeout=aiohttp.ClientTimeout(total=10)控制总耗时,conn_timeout已废弃,统一用total和sock_read - 注意 DNS 解析也可能超时,建议加
resolver=aiohttp.AsyncResolver()
遇到 “Cannot write to closing transport” 或 “ClientPayloadError” 怎么办?
这是 Python 3.11 + aiohttp 22.3+ 的典型表现,本质是服务器提前关闭连接,而客户端仍在读取响应体。不是代码 bug,但需健壮处理:
- 永远用
try/except aiohttp.ClientError包裹请求逻辑,而不是只捕获TimeoutError -
ClientPayloadError属于ClientResponseError子类,可统一捕获 - 对失败请求做指数退避重试(如
asyncio.sleep(2 ** attempt)),但别无脑重试 3 次——有些错误(如 403)重试毫无意义 - 响应体读取必须用
await resp.text()或await resp.read(),禁止用resp.content.read()这种低阶 API,它绕过异常传播机制
为什么用了 asyncio.gather() 还是慢得像同步?
根本原因常是 DNS 或 TCP 握手阻塞,而非 Python 层协程调度。Python 3.11 的 asyncio 默认 resolver 是线程池版,会拖慢大量域名请求。
Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。
实操建议:
connector = aiohttp.TCPConnector(<br> limit=100,<br> limit_per_host=30,<br> ttl_dns_cache=300,<br> use_dns_cache=True,<br> resolver=aiohttp.AsyncResolver(nameservers=["8.8.8.8", "1.1.1.1"])<br>)<br>async with aiohttp.ClientSession(connector=connector) as session:
其中 limit_per_host 很关键——防止对单个域名发太多连接,触发服务端限流;AsyncResolver 替代默认的线程池 resolver,显著降低 DNS 延迟。
另外,避免在 gather 里传入未预热的协程对象(比如带复杂初始化逻辑的函数),应先批量生成 fetch(url) 协程,再 await asyncio.gather(*tasks)。
实际跑起来后,最易被忽略的是 connector 复用粒度和 DNS 缓存生命周期。一个 session 对应一个 connector,如果每次请求都新建 session,DNS 缓存就完全失效——性能损失比你想象中大得多。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










