如何使用Python janus 实现同步线程与异步协程间的通信?

P粉602998670

P粉602998670

2026-07-30

463人浏览

原创

janus.queue 是同时提供同步和异步接口的线程安全队列,用于 bridging asyncio 与多线程场景;不能直接用 asyncio.queue 是因其不支持跨线程调用,且无同步接口。

如何使用python janus 实现同步线程与异步协程间的通信?

janus.Queue 是什么,为什么不能直接用 asyncio.Queue

janus.Queue 不是 asyncio.Queue 的替代品,而是它的“双面镜像”——它同时暴露同步和异步两套接口。如果你在多线程环境里混用 asyncio(比如用 asyncio.run() 启动协程,又用 threading.Thread 跑同步逻辑),直接传 asyncio.Queue 给线程会报 RuntimeError: a coroutine object is not iterable 或导致事件循环错乱。janus 就是为解决这个而生的:它内部用锁 + 条件变量桥接两端,让线程能安全调用 put() / get(),协程则用 async_put() / async_get()

初始化时必须传入 event_loop,否则线程里 put 会卡死

janus.Queue 初始化默认不绑定 loop,但它的异步方法(如 async_get())需要知道往哪个 loop 投递 awaitable。如果没显式传入,首次调用异步方法时 janus 会尝试用 asyncio.get_running_loop(),而线程里显然没有 running loop,就会抛 RuntimeError: no running event loop。更隐蔽的问题是:某些旧版本 janus 甚至会让 put() 在无 loop 时静默阻塞。

  • 正确做法:在主线程(或已启动 loop 的上下文)中创建 queue,并显式传入 loop:
    loop = asyncio.get_event_loop()
    queue = janus.Queue(loop=loop)
  • 若用 asyncio.run(),需在 run 内部创建 queue 并传给线程,不能在 run 外创建后传入——因为 run 会新建 loop,外部 loop 已失效
  • Python 3.11+ 若用 asyncio.Runner,同样要确保 queue 创建时绑定的是该 runner 管理的 loop

线程调用 put/get 时别忘了加超时,否则可能永久阻塞

janus 的同步接口(put()get())默认阻塞,且不响应 Ctrl+C(SIGINT)。如果协程端长时间没消费,线程端 put() 可能一直等满队列;反之,若队列为空,get() 也会无限等待。这比 asyncio 版本更危险——asyncio 的 await queue.get() 至少能被 cancel() 中断。

Python 3.14.2
Python 3.14.2

Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本,属于3.14系列的第二个维护更新。该版本包含了18项修复,重点解决了多进程、数据类及正则表达式等模块的回归问题,并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式(移除GIL)正式获得官方支持,是Python发展的重要里程碑。

下载
  • 务必设置 timeout 参数:queue.sync_q.put(item, timeout=5),超时抛 queue.Empty
  • 不要依赖 queue.sync_q.qsize() 判断是否可 get——它返回的是近似值,且在多线程下无意义
  • 若需中断等待,用 queue.sync_q.get_nowait() 配合 try/except,但要注意它不阻塞,失败就立刻抛 Empty

协程端用 async_get 时,别漏掉 await,也别在同步函数里混用

常见错误是把 queue.async_q.get() 当成普通函数调用,忘了加 await,结果得到一个 coroutine 对象却没 await,后续代码直接拿它当值用,引发 TypeError: object AsyncQueueGet can't be interpreted as integer 这类奇怪错误。另一个坑是:有人试图在普通 def 函数里调用 await queue.async_q.get(),Python 会直接报 SyntaxError: 'await' outside async function

  • 协程函数里必须写:item = await queue.async_q.get(),不是 queue.async_q.get()
  • 同步函数里只能用 queue.sync_q.get(),绝不能出现 await
  • 注意区分属性名:queue.async_q 是异步接口,queue.sync_q 是同步接口,二者不可互换

最易被忽略的一点:janus.Queue 的容量限制(maxsize)对两端都生效,但同步端的 put(block=False) 和异步端的 async_put_nowait() 行为不完全等价——前者在满时抛 Full,后者在满时抛 asyncio.QueueFull,异常类型不同,捕获时得分开写。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1105

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

2072

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1185

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

8843

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

1479

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

1552

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

881

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

531

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1111

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PyCharm官方快速入门指南
PyCharm官方快速入门指南

共0课时 | 0人学习

Python函数定义官方教程
Python函数定义官方教程

共0课时 | 0人学习

Python 3.14.6官方文档
Python 3.14.6官方文档

共0课时 | 0人学习