如何在Python中实现支持优先级的asyncio异步任务队列?

雨雪酱_7241

雨雪酱_7241

2026-09-14

690人浏览

原创

asyncio.priorityqueue 是 asyncio 生态中唯一原生支持优先级的队列,基于 heapq 实现,要求元素为可比较元组(如 (priority, item)),priority 越小优先级越高。

如何在python中实现支持优先级的asyncio异步任务队列?

asyncio.PriorityQueue 是唯一原生支持优先级的队列

Python 标准库中,asyncio.PriorityQueue 是 asyncio 生态里**唯一开箱即用、线程安全且协程友好的优先级队列**。它底层基于 heapq,要求每个入队元素是可比较的(通常是元组,如 (priority, item))。别试图给 asyncio.Queue 手动加排序逻辑——它不维护顺序,put_nowait() 和 get() 都不保证优先级行为。

常见错误现象:RuntimeError: await was called on a coroutine object created by a non-async function,往往是因为误把同步的 queue.PriorityQueue 丢进 await queue.get();或者用 asyncio.Queue 后手动 sorted(queue._queue) ——这不仅非法访问私有属性,还破坏了 asyncio 的事件循环调度契约。

  • 必须用 (priority, item) 元组形式入队,priority 通常为 int 或 float;数值越小,优先级越高(符合 heapq 行为)
  • item 本身不能是不可比较对象(如 dict),否则 get() 时抛 TypeError: '
  • 不支持重复修改已入队元素的优先级;如需动态调整,得先取出、再按新 priority 重新 put()

如何让任务对象自带优先级并支持取消

直接塞裸数据不够灵活,实际业务中你往往需要带状态的任务(比如含超时、重试次数、回调函数)。这时推荐封装一个 PriorityTask 类,让它实现 __lt__ 协议,避免依赖元组位置和类型限制。

使用场景:爬虫任务按响应时间预期排序、告警消息按严重等级分级处理、后台作业按 SLA 分级调度。

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载
  • 在 __lt__(self, other) 中只比较 priority 字段,不要引入时间戳或随机数,否则 heapq 可能崩溃
  • 把 asyncio.Task 对象存为属性,并在 __del__ 或显式 cancel() 时调用 task.cancel(),防止任务泄漏
  • 示例结构:
    class PriorityTask:
        def __init__(self, priority: int, coro):
            self.priority = priority
            self.coro = coro
            self.task = None
        def __lt__(self, other):
            return self.priority 

并发消费时如何避免高优任务被低优任务阻塞

即使用了 asyncio.PriorityQueue,如果消费者协程里执行的是 CPU 密集型或未加 await 的同步阻塞操作(比如 time.sleep(1)),高优任务仍会卡住。asyncio 不会自动抢占,优先级只体现在「谁先从队列里被 get() 出来」,不等于「谁先被执行完」。

性能影响:一个耗时 5 秒的低优任务若没做异步切分,会让后续所有高优任务至少等待 5 秒才开始执行——队列空了也没用,因为消费者被占着。

  • 消费逻辑中禁止出现 time.sleep()、requests.get()、json.loads(大字符串) 等同步阻塞调用
  • 必须用 await asyncio.sleep()、aiohttp.ClientSession、asyncio.to_thread()(Python 3.9+)包裹 CPU 密集操作
  • 考虑设置消费者数量上限(如 asyncio.create_task() 控制并发数),否则大量低优任务并发启动反而挤占事件循环资源

生产环境要注意的边界问题

真实系统里,任务可能因异常退出、消费者崩溃、网络分区而堆积。这时候 PriorityQueue 本身不会自动清理或降级,全靠你设计兜底策略。

容易被忽略的地方:队列满时 put() 默认会挂起,但如果你设置了 maxsize 却没配超时或拒绝策略,整个生产者链路就卡死了;另外,PriorityQueue 不提供「按优先级范围批量取」或「查询某优先级是否存在任务」的接口,这些都得自己 wrap。

  • 始终为 put() 加 timeout(如 await queue.put(item, timeout=3)),超时后走降级逻辑(日志 + 告警 + 丢弃或转存)
  • 定期用 queue.qsize() 监控堆积量,但注意它不是原子操作,仅作参考;真要精确统计,得用 len(queue._queue)(接受私有属性风险)或自定义计数器
  • 不要依赖 queue.empty() 判断是否还有任务——它返回 False 不代表马上能 get(),中间可能有其他协程插入

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1691

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4264

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

24857

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3027

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3067

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1163

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2363

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程