如何处理MySQL主从复制中由于大字段导致的同步缓慢?

酷明姑娘_5200

酷明姑娘_5200

2026-07-19

156人浏览

原创

大字段拖慢从库回放是因为其在高频更新时导致binlog体积大、解析反序列化慢、无法并行且易触发额外刷盘;需用pt-query-digest确认瓶颈,短期调参优化,长期应拆表或异步处理。

如何处理mysql主从复制中由于大字段导致的同步缓慢?

大字段(如 TEXT/BLOB)为什么拖慢从库回放?

不是所有大字段都会导致延迟,但当它们出现在高频更新的表中,尤其是被频繁 UPDATE 或 INSERT 时,问题就来了。主库写入一个含 1MB TEXT 字段的行,binlog 里就得记录完整值;从库 SQL 线程必须解析、反序列化、写入磁盘——这个过程比普通整型字段慢几倍到几十倍,且无法并行(即使启用了并行复制,同一事务内大字段操作仍串行执行)。更麻烦的是,innodb_log_file_size 和 innodb_buffer_pool_size 不足时,还会触发额外刷盘和页淘汰。

确认是不是大字段真正在拖后腿

别急着改表结构,先验证因果关系:

  • 查 SHOW PROCESSLIST 中从库 SQL thread 的状态:如果长期卡在 Updating 或 Writing to net,且对应语句含 TEXT/BLOB,基本坐实
  • 对比主从 relay_log_pos 和 exec_master_log_pos 差值——如果差值持续增大,且 Seconds_Behind_Master 同步上涨,说明是回放瓶颈,不是网络或 IO 拉取问题
  • 用 pt-query-digest 分析从库 slow log,看耗时 top 的语句是否集中在含大字段的 UPDATE

不改业务逻辑的前提下快速缓解

如果暂时不能重构字段或拆表,优先做这几件事:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 把从库的 innodb_flush_log_at_trx_commit 设为 2(日志每秒刷盘),降低大字段写入时的 fsync 开销
  • 增大 slave_pending_jobs_size_max(MySQL 5.7+),避免大事务因内存不足被迫阻塞等待
  • 确保 relay log 和 innodb 日志不在机械盘上——SSD 对大块写入的吞吐提升明显,尤其影响 BLOB 回放速度
  • 禁用从库的 innodb_doublewrite(仅限 SSD 环境),减少大字段写入时的双写开销(注意:有极小概率丢失页,需权衡)

长期方案:让大字段“离线”处理

真正治本的方式是切断大字段与核心事务的耦合:

  • 把 TEXT/BLOB 字段单独拆到附表,主表只留外键,UPDATE 主表时不碰大字段
  • 业务层改用异步方式更新大字段:比如主表更新完成后发 MQ,由独立消费者写附表,主从同步压力只留在轻量主表
  • 对历史数据,用 pt-archiver 归档掉已不常访问的大字段记录,减小单表体积和回放负担
  • 如果必须保留 inline 存储,至少确保该列加了前缀索引(如 INDEX(content(255))),避免全字段参与排序/JOIN 导致从库临时表膨胀

大字段本身不危险,危险的是它被卷进高频事务又缺乏隔离。很多团队卡在“先改代码还是先调参”的纠结里,其实应该先用 pt-query-digest 锁定真实瓶颈语句——90% 的情况,问题不在字段大小,而在它被错误地放在了不该出现的地方。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2173

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1339

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

775

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

2972

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

4968

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1119

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5231

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

4622

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

6094

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 183人学习