怎么在Python中实现带有速率限制的异步HTTP客户端？-Python教程-PHP中文网

asyncio.Semaphore用于控制同时发出的请求数量，而非单纯每秒请求数；需在每个session.request()前用async with semaphore:包裹，配合aiohttp.TCPConnector和ClientTimeout配置才能安全限流。

怎么在python中实现带有速率限制的异步http客户端？

用 `aiohttp` + `asyncio.Semaphore` 控制并发请求数

速率限制不等于单纯“每秒发N个请求”，更常见且可靠的做法是控制**同时发出的请求数量**，避免压垮服务端或触发限流。直接用 asyncio.Semaphore 包裹 aiohttp.ClientSession.request() 最轻量、无额外依赖。

常见错误是把 Semaphore 放在循环外但没 await，导致所有协程抢同一个信号量而阻塞；或者误以为设成 1 就等于“串行”，其实仍需确保每个 session.request() 都被 semaphore.acquire() 包裹。

初始化时传入期望的最大并发数，比如 semaphore = asyncio.Semaphore(5)
每个请求前用 async with semaphore: 获取许可，离开作用域自动释放
不要在 ClientSession 外层加 semaphore，那只会限制 session 创建，不是请求

import aiohttp
import asyncio
<p>semaphore = asyncio.Semaphore(3)</p><p>async def fetch(url):
async with semaphore:  # ← 关键：每个请求单独 acquire
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
return await resp.text()
</p>

需要精确“每秒N次”时，用 `asyncio.sleep()` 补齐间隔

如果服务端明确要求 “X requests per second”，仅靠 Semaphore 不够——因为请求耗时不同，可能 1 秒内密集发出，下一秒全空。必须记录上一次请求时间，并在每次请求前 sleep 补齐最小间隔。

注意别用 time.sleep()，它会阻塞整个事件循环；也别在 sleep 前忘记 await，否则协程不会暂停。

维护一个全局 last_request_time = 0.0
计算当前时间与上次时间差，若不足间隔（如 1/10 秒），就 await asyncio.sleep(needed_delay)
更新 last_request_time 必须在 sleep 后、请求前，否则第一次请求就可能超速

import asyncio
import time
<p>rate_limit = 10  # 10 req/sec → 每次至少间隔 0.1 秒
min_interval = 1.0 / rate_limit
last_request_time = 0.0</p><p>async def fetch_with_rate(url):
global last_request_time
now = time.time()
elapsed = now - last_request_time
if elapsed </p><pre class="brush:php;toolbar:false;">async with aiohttp.ClientSession() as session:
    async with session.get(url) as resp:
        return await resp.text()