Redis主从复制中大key导致同步断开_利用内存分析工具拆分大key减少传输压力

浅枫小哥_2422

浅枫小哥_2422

2026-04-08

645人浏览

原创

大key在redis主从同步中会触发复制断连,表现为从库state由online突变为offline、日志反复出现connection with master lost和resyncing from master,根源是rdb/aof传输超时或内存溢出。

redis主从复制中大key导致同步断开_利用内存分析工具拆分大key减少传输压力

大key在Redis主从同步中会触发什么错误

主从复制断开时如果看到 READONLY You can't write against a read only replica 以外的报错,大概率不是权限问题,而是从库在接收 RDB 或 AOF 流时超时或内存溢出。典型现象是:主库 INFO replication 显示 slave0:ip=..., state=online 突然变成 state=offline;从库日志里反复出现 Connection with master lost,紧接着 Resyncing from master —— 这说明复制链路被强制重连,而重连失败或频繁重试往往源于单次传输数据过大。

用redis-rdb-tools快速定位大key

redis-rdb-tools 是目前最轻量、最准的离线RDB分析工具,不依赖Redis运行时,直接解析RDB文件即可统计key大小(含value序列化后长度)。注意它统计的是「序列化后体积」,比 MEMORY USAGE 更贴近网络传输实际开销:

  • 先用 redis-cli --rdb /tmp/dump.rdb 从主库生成当前RDB(确保停写或使用 SAVE 同步阻塞方式)
  • 运行 rdb -c memory /tmp/dump.rdb > memory.csv,输出按内存占用降序排列的key列表
  • 重点关注 type=list / type=hash / type=zset 中 size > 1MB 的条目——这类结构体在网络传输阶段会被整体打包发送,无法流式分片

拆分大key必须避开的三个操作陷阱

很多人想当然地用 HSCAN + HDEL 或 LRANGE + LTRIM 拆分,结果反而加剧主从压力。真正安全的拆分必须满足:不产生长耗时命令、不阻塞主线程、不制造大量AOF写入:

  • 避免在主库上直接 HGETALL 大 hash —— 单次返回几十MB会打满客户端缓冲区,触发 client-output-buffer-limit 断连
  • 禁止用 RENAME 或 MOVE 操作大key —— 这些是原子命令但底层仍需完整拷贝内存,等效于一次大写入
  • 不要依赖 SCAN 配合 DEL 清理旧key —— 若拆分逻辑未同步到从库,会导致主从数据不一致,且 DEL 本身会写AOF并广播给从库

正确做法是:用 HSCAN 分批读,构造新key名(如 user:1001:profile:part1),用 HSET 写入,最后用 DEL 删除原key —— 且所有写操作必须走 pipeline 批量提交,减少网络往返和AOF刷盘频次。

从库同步阶段仍卡顿?检查 repl-backlog-size 和 client-output-buffer-limit

即使拆分了大key,若从库网络延迟高或重连频繁,仍可能因复制积压缓冲区(repl-backlog)不足导致全量重同步。这时 repl-backlog-size 设置过小(默认1MB)会让主库丢弃部分复制偏移,从库只能请求全量RDB —— 而RDB里若还残留未清理完的大key,就又回到原点。

  • 通过 CONFIG GET repl-backlog-size 查看当前值,建议设为最大预期增量数据的2倍(例如业务峰值每秒写入5MB,则设为10MB)
  • 检查从库的 client-output-buffer-limit slave,默认是 256mb 64mb 60,即缓冲区达256MB或60秒内未消费满64MB就断连;大key传输期间极易触达该阈值,应临时调高(如 1024mb 128mb 120)
  • 这两个配置修改后需 CONFIG REWRITE 持久化,且必须主从分别设置 —— 从库的 client-output-buffer-limit 是独立生效的

拆分大key只是起点,真正的稳定取决于对复制缓冲机制的理解深度。很多团队花几天拆完了key,却卡在重连后瞬间断开,往往就是漏看了 repl-backlog 这个静默杀手。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

2025.06.09

4854

18

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

2025.07.04

5011

25

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4318

6

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4609

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4155

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

7792

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

643

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

756

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

7802

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.9万人学习