为什么Redis发布订阅的延迟在客户端繁忙时会增大_排查EventLoop阻塞

大杰君_9765

大杰君_9765

2026-07-09

819人浏览

原创

redis pub/sub延迟突增主因是客户端event loop被占满,如同步操作阻塞、连接混用或监听逻辑未异步化,导致socket数据积压而非服务端问题。

为什么redis发布订阅的延迟在客户端繁忙时会增大_排查eventloop阻塞

Redis Pub/Sub延迟突增,先看客户端Event Loop是否被占满

Redis发布订阅本身不产生服务端延迟——消息发出即认为送达。真正让订阅者“收得慢”的,是客户端没空读。尤其在Node.js、Python asyncio或Dify这类基于事件循环的运行时里,一个耗时同步操作(比如JSON.parse大包体、没加await的fs.readFileSync)会直接卡住整个Event Loop,subscribe连接上积压的socket数据无法及时消费,表现就是消息延迟飙升甚至断连。

  • 用node --inspect打开Chrome DevTools,录制CPU Profile,重点找长时间运行的同步函数(如JSON.parse、正则匹配、大数组filter)
  • Python中检查是否误用time.sleep()或阻塞IO(requests.get),应换为asyncio.sleep()和aiohttp.ClientSession
  • Dify自定义节点若含await但未在node.yaml里设async: true,引擎会强制以同步方式执行,导致Event Loop被冻结

订阅连接被其他命令挤占,导致listen()无法及时响应

Redis客户端连接是共享的。如果同一个ConnectionPool既跑PUBLISH又跑SUBSCRIBE,或者在订阅连接上混用GET/SET等普通命令,listen()就会被抢占——它本质是个阻塞式轮询,一旦连接被拿去发别的命令,就停在那儿不动了。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • Python redis-py:禁用redis.Redis(connection_pool=shared_pool)用于订阅,改用独立ConnectionPool实例
  • Lettuce(Java):为StatefulRedisPubSubConnection单独配置ClientResources,避免和普通命令共用Netty event loop线程
  • Redisson:必须显式调用setSubscriptionConnectionPoolSize(20),默认1个连接在高并发下必然排队

监听逻辑写在主线程里,没做异步解耦

很多代码把pubsub.listen()直接丢进主流程,比如Node.js里pubsub.on('message', handler)后没做流控,handler里又调HTTP或DB,结果一个慢请求拖垮所有消息消费。

  • 改用背压控制:例如Node.js用stream.Readable包装pubsub,配合highWaterMark限速
  • Python中用asyncio.create_task()把每个message分发到独立协程,避免串行阻塞
  • 关键点:listen()本身不能加await,但后续处理必须异步化;否则on_message回调一卡,整个socket buffer就堆满

忽略内核socket buffer堆积,以为是Redis问题

当客户端处理慢,Linux内核的TCP发送缓冲区(sk->sk_wmem_queued)会持续上涨,CLIENT LIST里看到连接的omem值>1MB,说明消息早被Redis发出去了,只是客户端没来得及recv——这不是Redis卡,是你的应用没跟上。

  • 监控命令:redis-cli client list | grep 'omem\|flags' | awk '{print $1,$7,$10}',重点关注omem和flags=N(非阻塞连接但实际已堵死)
  • 临时缓解:加大net.core.wmem_max只掩盖问题;根本解法是降低单消费者吞吐,或切分channel分流
  • 别信redis-cli --latency:它测的是PING-pong延时,对Pub/Sub无意义;要看info stats | grep blocked_clients确认服务端是否真被拖住
真实延迟永远发生在客户端取数据那一刻,不是Redis发数据那一刻。哪怕你把tcp-keepalive设成1秒,只要Event Loop卡住200ms,消息就晚到200ms——这个时间差,不会出现在任何Redis指标里,只会藏在你的console.time()或logging.info("start")之间。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4269

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

3775

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

6812

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

623

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

736

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

6402

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1140

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1016

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

5718

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习