如何在FastAPI中借助aioredis实现高性能Redis消息订阅?

老杰吖_7074

老杰吖_7074

2026-11-19

568人浏览

原创

结论:应使用 aioredis.Redis 的 subscribe + listen 配合 asyncio.create_task 启动后台监听任务;pubsub 对象无自动重连、不属连接池、难与 FastAPI 生命周期协同,易断连且无法优雅关闭。

如何在fastapi中借助aioredis实现高性能redis消息订阅?

直接说结论:用 aioredis.Redis 的 subscribe + listen 配合后台任务(BackgroundTasks 或 asyncio.create_task)才能稳定收消息;别用 pubsub 对象长期 hold 住连接,它不自动重连、不兼容 FastAPI 生命周期管理。

为什么 pubsub 对象在 FastAPI 里容易断连又难恢复

aioredis 的 pubsub 实例本质是单次绑定的监听器,不是长生命周期连接池资源。它内部没有重连逻辑,一旦 Redis 临时抖动或连接超时,listen() 就会抛出 ConnectionClosedError 并退出循环,后续消息彻底丢失。

  • pubsub 不属于 aioredis.Redis 客户端池,不能被 app.state.redis 统一管理
  • 手动在 startup 里启动 listen() 会阻塞事件循环,必须用 asyncio.create_task 脱离主线程
  • FastAPI 的 shutdown 事件里无法优雅取消正在 listen() 的协程,容易残留僵尸 task

aioredis.Redis 原生 subscribe 是更稳妥的选择

从 aioredis v2.0 起,Redis 实例本身支持 subscribe 方法,返回一个可 await 的 PubSub 对象,并且能复用底层连接池——这意味着它能受益于连接池的自动重连、超时控制和编码配置(如 decode_responses=True)。

  • 必须显式调用 await pubsub.subscribe("channel_name"),不能只传字符串
  • 监听需用 async for message in pubsub.listen():,不是 await pubsub.listen()
  • 每个 channel 需单独 subscribe,批量订阅写成 await pubsub.subscribe("ch1", "ch2")
  • 务必在 try/except 中捕获 aioredis.ConnectionError 和 asyncio.CancelledError

如何在 FastAPI 启动时安全挂载订阅任务

推荐用 asyncio.create_task 启动独立监听协程,并在 shutdown 时主动 cancel()。不要依赖 BackgroundTasks,它只保证请求生命周期内执行,不适用于常驻后台任务。

fastapi-pro
fastapi-pro

使用 FastAPI、SQLAlchemy 2.0 和 Pydantic V2 构建高性能异步 API。精通微服务、WebSocket 和现代 Python 异

下载
  • 把订阅逻辑封装成独立 async 函数,例如 async def listen_to_events(redis: aioredis.Redis):
  • 在 @app.on_event("startup") 中用 app.state.pubsub_task = asyncio.create_task(listen_to_events(app.state.redis))
  • 在 @app.on_event("shutdown") 中先 app.state.pubsub_task.cancel(),再 await asyncio.gather(..., return_exceptions=True)
  • 监听循环内每收到一条 message,建议用 asyncio.to_thread 或发到线程安全队列处理耗时逻辑,避免阻塞 event loop

实际消息结构与常见误判点

收到的 message 是 dict,类型字段为 type(注意不是 Python 的 type()),值可能是 "message"、"pmessage" 或 "subscribe"。只有 type == "message" 才是真实业务数据。

  • message["data"] 类型取决于初始化时是否设了 decode_responses=True:开启则为 str,否则为 bytes
  • 用通配符订阅(psubscribe)需调用 pubsub.psubscribe("log.*"),对应消息 type 是 "pmessage"
  • 不要在 listen() 循环里直接调 redis.set() 等操作——这会触发连接复用竞争,应改用 await redis.execute_command("PUBLISH", ...) 避免混用

真正麻烦的不是怎么收消息,而是怎么让这个监听过程在进程重启、Redis 故障、Uvicorn worker reload 时不丢状态也不狂刷错误日志——关键在于把重试逻辑、连接健康检查、消息去重都收进那个 listen_to_events 函数里,而不是指望框架自动兜底。

大量免费API接口:立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游,为数据API应用能力赋能!

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

redis fastapi

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

2025.12.22

119

5

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

2026.02.06

594

18

Python Web框架FastAPI 全栈开发教程合集
Python Web框架FastAPI 全栈开发教程合集

以 FastAPI 为核心,讲解现代 Python Web API 的高效开发方式,涵盖路由定义与路径参数/查询参数/请求体绑定、Pydantic 模型的数据校验与序列化、依赖注入(Depends)系统的分层设计、中间件与 CORS 配置、OAuth2 + JWT 认证流程、后台任务(BackgroundTasks)、WebSocket 实时通信、SQLAlchemy 异步 ORM 集成、自动生成 OpenAPI/Swagger 交互文

2026.05.09

796

23

Python FastAPI异步微服务与高性能接口设计
Python FastAPI异步微服务与高性能接口设计

本专题聚焦 Python FastAPI 框架在高性能接口与微服务开发中的应用,讲解异步请求处理、依赖注入机制、路由设计、数据库异步操作以及接口性能优化策略。结合实际项目案例,帮助开发者构建高并发、低延迟的现代化后端服务架构。

2026.06.16

679

12

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

5049

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4635

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

9072

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

683

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

796

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go-Zero官方文档
Go-Zero官方文档

共0课时 | 0人学习