Redis 主从复制过程中怎么压缩网络传输

大萱酱_8815

大萱酱_8815

2026-09-10

308人浏览

原创

redis主从复制中,全量同步的rdb文件传输不支持原生压缩,仅能通过外部代理或tc限速缓解;增量同步自7.0起支持repl-compress yes(需编译含lz4),但主从须同时启用且消耗cpu;客户端侧压缩最灵活但需业务适配;稳定复制需tc限速、repl-compress、大key治理与backlog合理配置四者联动。

redis 主从复制过程中怎么压缩网络传输

Redis 主从复制过程中的网络传输压缩,不能靠“一键开启”,得按阶段拆解——**全量同步**和**增量同步**的压缩机制完全不同,且原生支持有限,很多压缩必须靠外部配合或客户端介入。

全量同步:RDB 文件传输无法被 Redis 原生压缩

主节点生成 RDB 快照后,会以原始二进制形式直接通过 TCP 发送给从节点。Redis 不支持对 RDB 文件本身做 LZ4/ZSTD 等算法压缩,即使你启用了 repl-diskless-sync yes(免磁盘同步),也只是跳过写本地文件这步,数据流仍是明文、未压缩的。

真正能起作用的只有两种方式:

  • tc 在主节点出向网卡限速(如限 50Mbit),避免突发大 RDB 打满带宽;这不是压缩,但能稳住链路
  • 在中间加代理层(如自研 proxy 或支持压缩的 Redis 网关),在发送前对 RDB 流做 LZ4 压缩——Redis 服务端不参与,纯外部处理

增量同步:repl-backlog 中的命令流可启用 LZ4 压缩

从 Redis 7.0 开始,支持配置 repl-compress yes(需编译时链接 LZ4 库)。它只对增量复制中发送的 repl backlog 命令流 做压缩,不影响 RDB。

启用前提和注意事项:

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 编译 Redis 时必须带上 --with-lz4,否则该参数无效
  • 主从节点都要启用,否则解压失败导致同步中断
  • 压缩/解压消耗 CPU,小规格实例(如 2C4G)可能反而拖慢同步速度
  • 对单个大 Key 的命令(如 HMSET big_hash ...)压缩效果有限,仍可能瞬间占满带宽

客户端侧压缩:最灵活、也最常用

如果业务允许,把压缩逻辑下沉到应用层,是最可控的方式:

  • PHP 使用 phpredis ≥6.3.0,配置 redis.compression = 1,自动对所有读写 payload 做 zlib 压缩
  • Python 可用 redis-py 配合 lz4zstd 库,在 set()/get() 前后手动压缩解压
  • Java 用 Lettuce 或 Jedis,集成 Zstd-JNI 等库实现透明压缩

这种方式不依赖 Redis 版本,也不影响主从协议,但要求业务代码适配,且压缩/解压开销由客户端承担。

别忽略大 Key 和 backlog 配置的协同作用

再好的压缩或限速,遇上一个 50MB 的 HASH,照样会冲垮链路。所以必须配套治理:

  • redis-cli --bigkeysMEMORY USAGE 定期扫描大 Key,分批拆分或改用流式结构
  • repl-backlog-size 要设够——比如主库写入 2MB/s、容忍断连 90 秒,至少设为 200mb(留 10% 余量)
  • repl-timeout 要同步调大(如设为 120),否则限速或压缩带来的延迟容易触发超时重连

真正稳住复制流量,靠的是 tc 限速 + repl-compress + 大 Key 治理 + backlog 合理配置 四者联动,缺一不可。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis 主从复制

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

417

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

820

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2412

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

816

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

709

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

374

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2156

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

3972

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

647

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习