Redis发布订阅如何进行压力测试与性能调优_利用模拟脚本定位性能瓶颈

大枫小哥_1347

大枫小哥_1347

2026-05-02

879人浏览

原创

redis-benchmark 不适用于 Redis 发布订阅压测,因其仅支持单发布者单订阅者模型,无法模拟多订阅者、多频道的真实场景,且忽略输出缓冲区限制、连接数瓶颈及广播开销。

redis发布订阅如何进行压力测试与性能调优_利用模拟脚本定位性能瓶颈

Redis发布订阅的压测不能只靠 redis-benchmark,它不支持多订阅者、多频道场景,直接用会严重低估真实瓶颈。

为什么 redis-benchmark 对 pub/sub 压测无效

redis-benchmark -t pubsub 仅模拟单个发布者 + 单个订阅者循环收发,完全忽略实际系统中「一对多」「多对多」的拓扑结构。真实业务里一个频道常有几十甚至上百个活跃订阅者,每个连接都占用输出缓冲区,而 redis-benchmark 根本不创建多个连接,测出来的吞吐量毫无参考价值。

常见错误现象:redis-benchmark -t pubsub -n 100000 跑出 80w+ ops/s,但线上一开 50 个 Python 订阅线程,Redis 就开始断连、丢消息。

  • 它不控制 client-output-buffer-limit,无法触发缓冲区溢出的真实失败路径
  • 不区分 channel 绑定与消息分发延迟,掩盖了 pubsub 内部广播逻辑的开销
  • 所有消息都在同一个 TCP 连接上复用,绕过了连接数、文件描述符等真实限制

用 Python 多线程脚本模拟真实订阅负载

必须自己构造「N 个独立连接 + M 个频道 + 持续 listen」的模型,才能暴露缓冲区、CPU 分发、网络堆积等问题。核心是让每个线程持有独立的 redis.Redis 实例和 pubsub 对象。

示例关键片段:

import redis
import threading
<p>def subscribe_to_channel(channel_name):
r = redis.Redis(host='127.0.0.1', port=6379, decode_responses=True)
pubsub = r.pubsub()
pubsub.subscribe(channel_name)</p><h1>必须显式调用 listen() 启动阻塞循环</h1><pre class="brush:php;toolbar:false;">for msg in pubsub.listen():
    if msg['type'] == 'message':
        # 真实业务中这里要处理反序列化、路由等,不能空转
        pass

启动 30 个线程,订阅 30 个不同 channel(避免单 channel 竞争)

for i in range(30): t = threading.Thread(target=subscribe_to_channel, args=(f'news:{i}',)) t.daemon = True t.start()

  • 每个线程必须用新连接(不能共用 r 实例),否则共享 socket 会互相干扰
  • 务必设 daemon=True,否则主线程退出时子线程卡住进程无法结束
  • 不要在 listen() 循环里做耗时操作(如写 DB、HTTP 请求),否则积压消息导致缓冲区暴涨
  • 观察 redis-cli info clients 中的 connected_clients 和 client_longest_output_list,后者超过 1000 就危险

定位 pub/sub 性能瓶颈的关键参数

压测过程中紧盯三个配置项,它们直接决定是否断连、丢消息、延迟飙升:

  • client-output-buffer-limit pubsub 32mb 8mb 60:这是最常被忽略的致命项。32MB 是硬上限,一旦某个订阅者消费慢,缓冲区涨到 32MB,Redis 立刻 KILL 它;8MB 是软限,持续 60 秒超限也会被踢。压测时若频繁看到 Client closed connection due to output buffer overflow 错误,就是它在起作用
  • hz 10:serverCron 每秒执行次数,影响 pubsub 消息分发频率。值太低(如默认 10)会导致高并发下消息堆积在内部队列,P99 延迟跳变;压测中可临时 CONFIG SET hz 20 观察是否改善,但注意 CPU 开销会上升
  • tcp-keepalive 300:防止中间网络设备(如 NAT、防火墙)静默断连。压测时间长了出现「订阅者突然不收消息但连接还显示 active」,大概率是这个没设或设得太小

修改后必须用 service redis restart 生效,CONFIG SET 对 client-output-buffer-limit 无效。

Sentinal Redis
Sentinal Redis

监控Redis服务器健康状况、内存、性能及BullMQ队列。检查队列深度、失败任务,分析慢查询并诊断问题。

下载

缓冲区溢出后的表现与验证方法

当订阅端消费跟不上发布速度,你不会立刻看到错误日志,而是经历几个阶段:

  • 第一阶段:client_longest_output_list 持续 > 500,used_memory_rss 缓慢上涨,但客户端仍正常收消息
  • 第二阶段:某连接缓冲区触达 8MB 软限并维持超 60 秒 → Redis 主动 CLIENT KILL,日志出现 Connection with output buffer too big
  • 第三阶段:被 kill 的客户端重连后重新 subscribe,但若消费逻辑没优化,几秒内又重复上述过程,形成雪崩

验证是否真因缓冲区问题,可在压测中实时运行:

redis-cli --stat | grep -E "(client|mem)"

或直接查特定客户端:

redis-cli CLIENT LIST | grep "omem="

omem= 值超过 8388608(即 8MB)就已踩软限红线,此时必须优化消费逻辑或扩容订阅节点。

真正难调的不是参数数字,而是「消费端处理能力」与「发布节奏」之间的匹配——缓冲区只是最后的保险丝,断了说明前面的链路已经失衡。别只盯着 Redis 配置,先确认你的消息处理函数是不是在同步调用 HTTP 或锁表。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

redis 性能瓶颈

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4889

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4455

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

8592

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

663

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

776

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

8882

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1200

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1396

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

7598

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习