Python中如何限制异步爬虫的每秒请求数_通过asyncio.Semaphore实现限流-Python教程-PHP中文网

asyncio.Semaphore能限流是因为它作为协程安全的异步信号量，通过计数器控制同时进入临界区的协程数量，acquire()挂起无许可协程而不阻塞事件循环，release()释放许可唤醒等待协程，从而精确限制并发请求数而非执行频率。

python中如何限制异步爬虫的每秒请求数_通过asyncio.semaphore实现限流

asyncio.Semaphore 为什么能限流，而不是用 time.sleep()

因为 time.sleep() 在协程里会阻塞整个事件循环，所有并发任务都得等它；而 asyncio.Semaphore 是协程友好的“许可证桶”——每次 acquire() 尝试拿一个许可，没空闲许可就挂起当前协程，不阻塞别人。真正控制的是**并发请求数**，不是“每秒多少次”，但配合固定频率的请求节奏（比如每秒启动 5 个新任务），就能逼近目标 QPS。

如何用 Semaphore 控制并发请求数（不是 QPS）

直接限制同时发起的请求数，是最简单也最稳定的用法：

import asyncio
import aiohttp
<p>sem = asyncio.Semaphore(5)  # 最多 5 个并发请求</p><p>async def fetch(url):
async with sem:  # 这里会自动 acquire/release
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
return await resp.text()</p><h1>启动 100 个任务，但最多 5 个同时跑</h1><p>tasks = [fetch("<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>") for _ in range(100)]
results = await asyncio.gather(*tasks)
</p>

async with sem 是推荐写法，自动管理进出，避免忘记 release()
数值 5 表示最大并发数，不是每秒请求数；若每个请求耗时 1 秒，实际 QPS ≈ 5；若耗时 100ms，QPS 可达 ~50
不要在 fetch() 外层用 sem 包裹 ClientSession 创建，那会串行化 session 初始化，反而拖慢

想严格控 QPS？得加时间调度逻辑

单纯靠 Semaphore 无法精确实现“每秒最多 N 次”，因为请求完成时间不可控。要逼近该目标，需结合 asyncio.sleep() 做请求节拍器：

Secure Python Code Sandbox

安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。

下载

import asyncio
import time
<p>class RateLimiter:
def <strong>init</strong>(self, max_calls: int, period: float = 1.0):
self.max_calls = max_calls
self.period = period
self.calls = []</p><pre class="brush:php;toolbar:false;">async def acquire(self):
    now = time.time()
    # 清理过期记录
    self.calls = [t for t in self.calls if now - t = self.max_calls:
        # 算出还需等多久
        sleep_time = self.calls[0] + self.period - now
        if sleep_time > 0:
            await asyncio.sleep(sleep_time)
        # 再清理一次（防止 sleep 期间又有新调用）
        now = time.time()
        self.calls = [t for t in self.calls if now - t <h1>用法：每秒最多 3 次</h1><p>limiter = RateLimiter(3)</p><p>async def fetch_with_rate_limit(url):
await limiter.acquire()
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
return await resp.text()
</p>

这个 RateLimiter 是协程安全的，但不带锁——多个协程并发调用 acquire() 时，self.calls 可能出现竞争，实际生产建议用 asyncio.Lock 包一层操作列表
如果只是爬少量网站、对 QPS 要求宽松（如“别把对方服务器打挂”），用 Semaphore(3~5) 更轻量、更可靠
注意 time.time() 是系统时间，跨机器或 NTP 漂移大时，窗口计算可能偏移；高精度场景应改用 asyncio.get_event_loop().time()

常见踩坑：Semaphore 放错位置导致限流失效

最容易犯的错误是把 Semaphore 实例放在函数内部、或每次请求新建一个：

❌ 错误：每次 fetch() 都 sem = asyncio.Semaphore(5) → 每个请求都有自己的“5个并发额度”，完全不限流
❌ 错误：把 sem 放在 ClientSession() 上下文里 → session 创建被串行化，反而压垮连接池
✅ 正确：全局或实例级单例 sem，且 async with sem 包裹的是实际发请求的代码段（即 session.get()）
⚠️ 注意：如果用了 aiohttp.TCPConnector(limit_per_host=...)，它和 Semaphore 是两层控制，前者管连接复用，后者管协程并发，别混淆