Python异步爬虫中如何动态控制aiohttp的并发连接数-Python教程-PHP中文网

TCPConnector的limit在初始化后即固化，无法动态修改；真正可动态调控并发的是请求调度层，应使用asyncio.Semaphore在请求发起前控制入口，并配合合理配置的TCPConnector（如limit≥Semaphore最大值）以避免连接池瓶颈。

python异步爬虫中如何动态控制aiohttp的并发连接数

为什么直接改 `aiohttp.TCPConnector` 的 `limit` 不生效

很多人试过在创建 ClientSession 时传入 TCPConnector(limit=10)，但发现后续想“动态”调高或调低并发数时，改了参数却没效果。这是因为 limit 是连接器初始化时就固化下来的，一旦 ClientSession 启动，底层的连接池不会响应运行时的修改。

真正能动态控制的，是请求调度层——你得自己拦住请求，按需放行，而不是指望连接器“临时变卦”。

TCPConnector.limit 只控制「最多同时打开多少个 TCP 连接」，不等于「同一时间发起多少个请求」
多个请求可能复用同一个连接（HTTP/1.1 keep-alive 或 HTTP/2 stream），所以实际并发请求数可能高于 limit
若用 asyncio.Semaphore 控制请求入口，才能做到精确、实时的并发数调控

用 `asyncio.Semaphore` 实现运行时可调的并发闸门

这是最轻量、最可控的方式：在发起 session.get() 前加一层信号量等待，把并发压力卡在请求生成侧。

关键点在于把 Semaphore 实例做成可写对象（比如存在类属性或全局变量里），后续通过修改其内部计数实现“动态”调整——注意：不是重建 Semaphore，而是用 acquire()/release() 模拟伸缩。

初始化时用 asyncio.Semaphore(n)，n 是初始并发上限
每次发请求前 await semaphore.acquire()；请求结束（无论成功失败）后必须 semaphore.release()
要“扩容”，就循环调用 semaphore.release() 若干次；要“缩容”，则暂不 release()，等现有任务自然退出后，新请求就会被阻塞
避免在异常路径中漏掉 release()，建议用 try/finally 包裹

sem = asyncio.Semaphore(5)

async def fetch(url):
    await sem.acquire()
    try:
        async with session.get(url) as resp:
            return await resp.text()
    finally:
        sem.release()