asyncio.queue本质是协程安全的背压队列，仅限制未处理任务数量上限，不能直接实现速率限制；需配合await自动挂起、semaphore控并发或第三方库才能达成限流目标。
asyncio.Queue 本质是协程安全的阻塞队列，不是限流器
直接用 asyncio.Queue(maxsize=N) 不能实现“每秒最多处理 M 个请求”这类速率限制，它只控制**未处理任务的数量上限**（背压），防止生产者压垮消费者。如果你要的是令牌桶或漏桶式限流，得组合 asyncio.sleep() 或用第三方库如 aiolimiter。
常见错误现象：Queue.full() 返回 True 后仍看到消费者内存暴涨——说明你只靠队列大小判断，没控制生产节奏；或者用 queue.put_nowait() 导致 asyncio.QueueFull 异常，但没处理重试逻辑。
- 适用场景：生产者速度远高于消费者、需防止 OOM（如爬虫抓取后批量写入数据库）
-
maxsize=0表示无限容量，此时put()永不阻塞，失去背压意义 - 性能影响：队列本身开销极小，但频繁
put()/get()会增加事件循环调度次数
用 put() 和 get() 配合 await 实现自然节流
真正起作用的是 await queue.put(item) 的等待行为：当队列满时，协程挂起，直到有空位；同理 await queue.get() 在空时挂起。这会让生产者“自动减速”，和消费者处理速度动态对齐。
示例：模拟高并发日志采集器向慢速存储推送
import asyncio
<p>async def producer(queue: asyncio.Queue, n=100):
for i in range(n):
await queue.put(f"log-{i}") # 队列满则暂停，不丢数据
if i % 20 == 0:
print(f"已生成 {i} 条，队列长度: {queue.qsize()}")</p><p>async def consumer(queue: asyncio.Queue):
while True:
item = await queue.get()
await asyncio.sleep(0.1) # 模拟慢速 I/O
print(f"处理: {item}")
queue.task_done()</p><p>async def main():
q = asyncio.Queue(maxsize=10) # 最多积压 10 条
await asyncio.gather(
producer(q),
consumer(q)
)
</p>
- 关键点：
queue.task_done()必须调用，否则join()无法判断完成 - 不要在生产者里用
put_nowait()+try/except asyncio.QueueFull手动丢弃——这破坏了背压语义 - 如果消费者异常退出，
queue.get()会永远挂起，建议加超时：await asyncio.wait_for(queue.get(), timeout=30)
结合 asyncio.Semaphore 做并发数硬限制
当需要严格限制**同时运行的消费者数量**（比如 API 调用并发不超过 5），仅靠 Queue 不够，必须搭配 asyncio.Semaphore。
错误做法：多个消费者协程都无锁地从同一个 Queue 取任务 → 可能瞬间拉取大量任务到内存，绕过队列限制。
- 正确模式：每个消费者先
await sem.acquire()，处理完再sem.release() -
sem = asyncio.Semaphore(5)保证最多 5 个任务在执行中，其余在队列里排队 - 注意
sem是协程安全的，但别把它和Queue的maxsize设成同一数值——前者控并发，后者控积压，目标不同
警惕 close() 和 shutdown 的时机问题
asyncio.Queue 没有 close() 方法，关闭逻辑要靠业务信号。常见踩坑是生产者结束太快，消费者还在等新任务。
推荐方案：用 asyncio.Event 通知停止，或让生产者放入特殊哨兵值（如 None），消费者检测后退出。
- 错误示例：
await queue.put(None)后立即await queue.join()—— 如果消费者还没拿到None，join()会永久阻塞 - 更稳的做法：生产者结束后调用
queue.put_nowait(None)，消费者用if item is None: break退出循环 - 别依赖
queue.empty()判断是否结束——它只是快照，可能刚查完就进新任务
队列大小、消费者并发数、处理耗时三者必须一起看；单调大 maxsize 只是把内存压力从队列转移到消费者本地变量里。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
