跨机房同步MySQL数据时遇到带宽瓶颈应该如何压缩加速?

浅静酱_5106

浅静酱_5106

2026-10-24

760人浏览

原创

slave_compressed_protocol=1是跨机房mysql主从同步中应对带宽瓶颈最直接、成本最低的压缩加速手段,仅需从库启用且对业务零侵入,专压binlog传输层,实测压缩率40%–50%,需配合内核参数调优方能生效。

跨机房同步mysql数据时遇到带宽瓶颈应该如何压缩加速?

slave_compressed_protocol=1 是跨机房 MySQL 主从同步中应对带宽瓶颈最直接、成本最低的压缩加速手段,它在从库侧启用后即可生效,无需主库改动,且对业务零侵入。

为什么必须用 slave_compressed_protocol 而不是连接压缩?

MySQL 的客户端连接压缩(如 mysql --compress)只压缩应用到数据库的查询和结果,对复制流量完全无效。而主从复制走的是专用的 dump 协议,其数据流(binlog event)默认不压缩。只有 slave_compressed_protocol 才作用于 IO 线程与主库之间的 binlog 传输层,真正压的是 relay log 的源头数据。

常见错误是误以为开了 my.cnf 里的 compress=1 或应用层加了 --compress 就能加速复制——这些配置对 Seconds_Behind_Master 毫无影响。

slave_compressed_protocol=1 的实操要点

该参数仅在 MySQL 5.7.9+ 支持,旧版本必须升级:

  • 在从库 my.cnf 的 [mysqld] 段落添加:slave_compressed_protocol = 1,然后重启 MySQL;或动态执行:SET GLOBAL slave_compressed_protocol = 1
  • 无需主库任何配合,也不依赖 binlog_format 或 GTID;但要求主库 MySQL 版本 ≥ 5.6.2(兼容协商)
  • 压缩由从库 IO 线程自动与主库协商启用,可通过 SHOW SLAVE STATUS\G 中的 Slave_IO_State 是否含 Compressed 字样确认(部分版本不显示,以实际网络流量下降为准)
  • 实测典型压缩率:文本型变更(如 JSON、HTML 字段)可达 40%–50%,纯数值变更约 15%–25%;CPU 开销增加通常

单靠压缩不够?必须搭配的三项内核级优化

即使启用了压缩,若 TCP 层行为不匹配高延迟链路,压缩后的包仍会卡在 Nagle 算法或拥塞控制里,导致吞吐上不去。务必在从库(推荐主库也配)执行:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • sysctl -w net.ipv4.tcp_nodelay = 1:禁用 Nagle,避免 IO 线程攒小包等待 200ms,让每个 binlog event 尽快发出
  • sysctl -w net.ipv4.tcp_congestion_control = bbr:BBR 在 RTT >20ms 场景下比默认 CUBIC 多榨取 2–3 倍有效带宽,尤其对抗丢包抖动更稳
  • sysctl -w net.core.somaxconn = 65535:增大连接队列,防止高并发 dump 请求被内核丢弃(主库 dump 线程数多时尤其关键)

这三项是 Linux 内核行为调整,不改 MySQL 配置,但能让 slave_compressed_protocol 的效果真正释放出来。漏掉任意一项,都可能出现“开了压缩但 iperf 测出的吞吐没提升”的情况。

别踩这些坑:压缩失效的典型场景

压缩不是万能银弹,以下情况它要么无效,要么得不偿失:

  • 主库写入量极低(如每秒
  • 从库 CPU 已长期 >90%,再加压缩负载会导致 IO 线程调度延迟,Slave_IO_Running 可能变为 Connecting 或频繁重连
  • 用了 binlog_format = ROW 且大量更新未修改字段(如 UPDATE t SET c1=c1 WHERE id=1),此时应先设 binlog_row_image = MINIMAL 减体积,再开压缩
  • 网络本身丢包率 >1%,压缩不能解决丢包,需先用 mtr 定位中间节点问题,否则压缩后丢一个包,重传代价更高

压缩只解决“带宽窄”,不解决“链路差”或“CPU弱”。上线前务必用 iperf3 -c 主库IP -t 60 对比开启前后的实测吞吐,再结合 SHOW SLAVE STATUS\G 中 Read_Master_Log_Pos 推进速度验证效果。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2313

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1419

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

835

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3232

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

5508

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1219

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5771

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

5042

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

6734

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 189人学习