如何使用Python asyncio.Queue实现生产者消费者模型?

冬涛大大_5561

冬涛大大_5561

2026-06-02

628人浏览

原创

asyncio.queue 更适合协程场景,因其 put()/get() 返回 awaitable、不阻塞事件循环,而 queue.queue 会阻塞线程导致 runtimeerror;需用 create_task 启动协程,配合 gather 和 join 控制生命周期,并确保每次 get 后调用 task_done。

如何使用python asyncio.queue实现生产者消费者模型?

asyncio.Queue 为什么比普通 queue.Queue 更适合协程场景

因为 queue.Queue 是线程安全的阻塞队列,所有 put() 和 get() 都会直接阻塞当前线程;而 asyncio.Queue 提供的是协程友好的异步等待接口——put() 和 get() 返回 awaitable,不会阻塞事件循环。如果你在 async def 函数里误用 queue.Queue,程序会卡死或抛出 RuntimeError: cannot be called from a running event loop。

关键区别在于:asyncio.Queue 的 put() 在队列满时 await,get() 在空时 await,整个过程不交出线程控制权,只让出协程调度权。

如何正确启动多个生产者和消费者协程

必须确保所有生产者先启动、全部数据 put 完再通知消费者结束,否则消费者可能提前退出。常见错误是没控制好“生产完成”信号,导致消费者在队列为空后就停了,但其实还有生产者没来得及 put。

  • 用 asyncio.create_task() 启动所有生产者和消费者协程,不要用 await 逐个执行
  • 生产者任务结束后调用 queue.put(None) 或单独发一个哨兵值(如 queue.put(StopIteration)),消费者检测到后 break
  • 更稳妥的做法是用 asyncio.gather() 等待所有生产者完成,再 await queue.join() 确保所有已 put 的项都被 task_done() 标记

示例片段:

import asyncio
<p>async def producer(queue, name):
for i in range(3):
await queue.put(f"{name}-item-{i}")
print(f"Produced: {name}-item-{i}")
await asyncio.sleep(0.1)
await queue.put(None)  # 哨兵</p><p>async def consumer(queue, name):
while True:
item = await queue.get()
if item is None:
queue.task_done()
break
print(f"{name} consumed {item}")
await asyncio.sleep(0.15)
queue.task_done()</p><p>async def main():
q = asyncio.Queue(maxsize=2)
producers = [asyncio.create_task(producer(q, f"p{i}")) for i in range(2)]
consumers = [asyncio.create_task(consumer(q, f"c{i}")) for i in range(2)]
await asyncio.gather(*producers)
await q.join()  # 等待所有已入队项被处理完</p>

maxsize 设置为 0 或负数意味着什么

maxsize=0(默认值)表示“无上限”,但注意:这不等于“无限快”,它只是不限制数量,底层仍用 collections.deque 存储,内存耗尽时会抛 MemoryError。真正需要背压控制时,必须显式设一个正整数。

Python Testing
Python Testing

Python 测试速查:运行 pytest、使用 mock/patch、参数化、fixtures、异步、覆盖率测试。

下载
  • maxsize=1:最严格的背压,生产者每次 put() 都要等消费者 get() 后才能继续
  • maxsize=0:生产者不会因队列满而暂停,容易在突发流量下撑爆内存
  • 负数会被当作 0 处理,没有特殊语义

如果你观察到生产者协程迟迟不 await put(),大概率是 maxsize 设得太小,且消费者处理太慢。

忘记调用 task_done() 会导致 join() 永远不返回

queue.join() 内部依赖每个 get() 后显式调用 task_done() 来递减未完成计数。漏掉一次,计数就卡住,join() 会永远挂起——这是最隐蔽也最常踩的坑。

  • 每个 get() 对应且仅对应一次 task_done(),哪怕消费逻辑抛异常也要包在 try/finally 里
  • 不能靠 put() 触发计数变化;也不能在 put() 后调用 task_done()
  • 如果消费者做了重试或丢弃,依然要调用 task_done(),因为“取走即负责”

正确写法示例:

try:
    item = await queue.get()
    await process(item)
finally:
    queue.task_done()

实际用的时候,asyncio.Queue 的行为边界很清晰:它只管“排队 + 协程等待”,不负责序列化、持久化、跨进程或失败重试。这些都得你自己补全——比如加锁处理共享状态、用 asyncio.Lock 保护临界区、或者把失败 item 写进另一个 error queue。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1631

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3944

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1629

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

22737

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2787

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2827

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1123

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2203

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程