asyncio.PriorityQueue的get()和put()是协程函数,必须await调用,但仅保证存储有序、不支持抢占式调度;高优先级任务插入不会中断低优先级等待者,需用asyncio.Condition+自定义逻辑实现抢占。

asyncio.PriorityQueue 本身不支持 awaitable 的 get()
很多人以为 asyncio.PriorityQueue 和 queue.PriorityQueue 行为一致,结果在 await queue.get() 时卡死或抛出 RuntimeError: await was used on a coroutine that was not async —— 实际上,asyncio.PriorityQueue 的 get() 和 put() 方法**本身就是协程函数**,必须用 await 调用,但它的底层实现并不自动处理“高优先级任务插队”或“取消等待中的低优先级消费者”这类需求。
关键点在于:asyncio.PriorityQueue 只保证 get() 返回当前队首(最小优先级值)元素,但不会中断正在 await get() 的协程去响应新插入的更高优任务。也就是说:它「存储有序」,但「调度不抢占」。
- 优先级数值越小,优先级越高(符合 heapq 行为)
- 多个协程同时
await queue.get()时,谁先唤醒取决于事件循环调度,不是优先级 - 如果队列为空,所有
await get()会挂起,直到有put();但新put()不会唤醒特定优先级的等待者
如何让高优先级任务「立即打断」低优先级等待?
标准 asyncio.PriorityQueue 没有内置抢占能力。要实现「插入高优任务后,正在等低优任务的协程立刻被跳过、由更高优任务满足」,得手动管理等待者队列 + 条件变量。
推荐做法:用 asyncio.Condition + 自定义优先级等待逻辑,而不是直接依赖 PriorityQueue.get() 的默认行为:
import asyncio
import heapq
<p>class PreemptivePriorityQueue:
def <strong>init</strong>(self):
self._heap = []
self._cond = asyncio.Condition()
self._closed = False</p><pre class="brush:php;toolbar:false;">async def put(self, item):
if self._closed:
raise RuntimeError("Queue is closed")
# item: (priority, order, value)
heapq.heappush(self._heap, item)
async with self._cond:
self._cond.notify_all() # 唤醒所有等待者,由它们自己判断是否匹配
async def get(self, min_priority=None):
while not self._heap or (min_priority is not None and self._heap[0][0] > min_priority):
async with self._cond:
await self._cond.wait()
if self._closed and not self._heap:
raise asyncio.CancelledError
# 弹出满足条件的最高优项(最小 priority)
return heapq.heappop(self._heap)
使用时传入 min_priority 可让协程只接受指定优先级及以上的任务,避免“等了10秒却拿到一个低优任务”的问题。
asyncio 3.12+ 中 PriorityQueue 的变化与兼容性注意
Python 3.12 对 asyncio.PriorityQueue 做了内部优化,但接口未变。不过要注意两个易踩坑点:
-
maxsize参数仍存在,但设置后put()不再阻塞(不像asyncio.Queue),而是直接抛asyncio.QueueFull—— 这个异常**不会自动被事件循环捕获**,必须显式 try/except - 如果你用
asyncio.create_task(queue.get())启动多个消费者,且没有控制并发数,低优任务可能长期饥饿:因为每次get()都取堆顶,而高优任务持续涌入时,堆顶永远被更新,旧等待者一直等不到机会 - 跨 Python 版本测试时,3.11 及更早版本中
PriorityQueue的qsize()返回值在多协程竞争下可能不准,别依赖它做调度决策
替代方案:用 sorted list + asyncio.Lock 手动控制更可控?
当业务需要细粒度调度策略(比如:同一优先级内按 FIFO,不同优先级间允许抢占,还要求能取消某个等待任务),asyncio.PriorityQueue 就太单薄了。此时建议放弃封装,改用:
-
sortedcontainers.SortedList(纯 Python,线程安全但非协程安全)+asyncio.Lock保护读写 - 或更轻量的
heapq+asyncio.Condition,如前例所示 - 避免用
list.sort()或sorted()动态重排——每次插入都 O(n log n),性能崩塌
真实高频场景(如实时风控任务分发)中,我们见过因错误地在每次 put() 后调用 sorted() 导致 CPU 占用从 5% 突增至 90% 的案例。优先级队列的核心开销永远在「维护堆序」,不是「排序输出」。
优先级逻辑越复杂,越要警惕“看起来能跑通”和“压测不掉帧”之间的鸿沟。尤其是涉及超时取消、任务去重、跨协程优先级升降时,别指望一个队列类包打天下。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











