Python 3.12环境下如何利用Asyncio提升IO密集型爬虫速度？-Python教程-PHP中文网

asyncio.run() 必须在程序顶层调用一次，不可嵌套在同步函数中反复调用；aiohttp.clientsession 必须复用而非每次新建；需用 asyncio.semaphore 显式限流，并避免混用 requests、time.sleep() 等阻塞操作。

python 3.12环境下如何利用asyncio提升io密集型爬虫速度？

asyncio.run() 必须在顶层调用，不能嵌套在同步函数里

很多刚转异步的脚本会把 asyncio.run() 放进一个普通函数里反复调用，比如写成 def crawl(urls): return asyncio.run(main(urls))。这会导致每次调用都新建事件循环、销毁旧循环，开销远超协程本身。实测 100 次调用比单次跑 100 个任务慢 8 倍以上。

正确做法是只在程序入口处调一次 asyncio.run()，所有爬取逻辑都在同一个事件循环内完成：

import asyncio
import aiohttp
<p>async def fetch(session, url):
async with session.get(url) as response:
return await response.text()</p><p>async def main(urls):
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
return await asyncio.gather(*tasks)</p><h1>✅ 正确：只调一次</h1><p>if <strong>name</strong> == "<strong>main</strong>":
results = asyncio.run(main(["<a href="https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635">https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635</a>"] * 50))</p>

不要在循环里、回调里、或任何非顶层位置调用 asyncio.run()
如果必须从同步上下文触发（如 Flask 路由），改用 asyncio.create_task() + 已存在的事件循环，或用 asyncio.run_coroutine_threadsafe()
Python 3.12 默认事件循环更轻量，但嵌套调用仍会触发重建逻辑，不是“优化了就能随便用”

aiohttp.ClientSession 必须复用，不能每个请求都 new 一个

常见错误是把 aiohttp.ClientSession() 写进协程内部，导致每发一个请求就新建一次连接池、TLS握手、DNS缓存失效。实测并发 100 请求时，连接复用比每次都新建快 3.2 倍，内存占用低 40%。

关键点：Session 是异步上下文管理器，生命周期应覆盖整个批量请求过程：

async def main(urls):
    # ✅ 正确：Session 外置，复用连接池
    async with aiohttp.ClientSession(
        connector=aiohttp.TCPConnector(limit=100, limit_per_host=10)
    ) as session:
        tasks = [fetch(session, url) for url in urls]
        return await asyncio.gather(*tasks)

limit 控制总并发连接数，避免端口耗尽；limit_per_host 防止单域名压垮对方服务器
不要在 fetch() 函数里创建 Session，也不要把它当参数传进协程再 new
若需不同配置（如带代理、不同 headers），可建多个 Session，但每个仍要复用

并发数不等于性能，得用 asyncio.Semaphore 控制实际并发量

Python Packaging

深度Python打包工作流——pyproject元数据、依赖与可选额外项、构建后端、wheel、版本控制、发布及CI发布规范……

下载

直接 [fetch(...) for url in urls] 生成几百个任务，看似“并发”，实则可能触发 DNS 查询风暴、连接拒绝、目标站封 IP。Python 3.12 的事件循环调度更激进，无节制并发反而更容易触发底层系统限制。

用 asyncio.Semaphore 显式限流，比靠 try/except 更可靠：

sem = asyncio.Semaphore(20)  # 同时最多 20 个请求
<p>async def fetch_limited(session, url):
async with sem:  # 等待信号量
async with session.get(url) as response:
return await response.text()</p>