mysql8.0并行复制与5.7有什么区别_WRITESET策略原理剖析

陌伟君_3310

陌伟君_3310

2026-04-13

300人浏览

原创

mysql 5.7的logical_clock并行复制依靠主库组提交生成的last_committed值判断事务能否并行:同一组提交的事务具有相同last_committed值,从库据此分发给多个worker线程并发执行。

mysql8.0并行复制与5.7有什么区别_writeset策略原理剖析

MySQL 5.7 的 LOGICAL_CLOCK 并行复制靠什么判断事务能否并行?

它依赖主库的组提交(Group Commit)机制:同一组内提交的事务,会被标记相同的 last_committed 值,从库据此分发给多个 worker 线程并行执行。但这个值只在主库并发高、事务能“凑成组”时才有效。

常见问题现象:Seconds_Behind_Master 波动大,低峰期几乎不下降;SHOW SLAVE STATUS 中 Slave_SQL_Running_State 长时间卡在 “Waiting for an event from Coordinator” —— 实际是 coordinator 等不到足够多事务组成一个组。

关键限制条件:

  • binlog_group_commit_sync_delay 和 binlog_group_commit_sync_no_delay_count 需人工调优,业务流量一变就失效
  • 即使两个事务毫无冲突(比如更新不同表的完全无关行),只要没进同一组,就只能串行
  • 单线程写入场景(如定时任务批量更新)下,last_committed 几乎总是递增,等效于退化为单线程复制

MySQL 8.0 的 WRITESET 是怎么绕过组提交瓶颈的?

WRITESET 不再依赖主库是否“凑组”,而是直接分析事务修改的**具体行级数据**:每个事务提交前,会计算其所有变更行(基于主键或唯一键)的哈希值,存入一个集合(write_set)。这些哈希值随 binlog 一起写入,并在从库用于冲突判定。

核心逻辑是:只要两个事务的 write_set 没有交集,就认为它们无冲突,可并行回放。这使得原本被组提交割裂开的事务(例如相隔几分钟的两次单行更新),只要改的不是同一行,就能被重新调度到同一批 worker 中执行。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

实际配置要点:

  • 必须开启:binlog_transaction_dependency_tracking = WRITESET
  • 主库需启用:transaction_write_set_extraction = XXHASH64(默认值,不建议改)
  • 从库必须设为:slave_parallel_type = LOGICAL_CLOCK(WRITESET 是 dependency tracking 模式,不是独立的 parallel_type)
  • 注意:WRITESET_SESSION 会强制同一线程发起的事务保持顺序,适合强一致性要求场景,但牺牲部分并行度

WRITESET 的哈希到底算什么?哪些列参与?

哈希值不是对整行内容计算,而是针对每行的**主键(PRIMARY KEY)和所有唯一键(UNIQUE KEY)字段值**分别生成。例如一张表有 id(PK)、email(UK)、sn(UK),插入一行 (100, 'a@b.com', 'SN-001'),就会产生至少 3 个哈希项:

PRIMARY?test?4t1?4\200\000\000d
UNIQUE?test?4t1?4a@b.com
UNIQUE?test?4t1?4SN-001

这些字符串经 XXHASH64 计算后存入事务的 write_set。所以:

  • 没有主键或唯一键的表,WRITESET 无法生成有效哈希,该事务会被视为“全表冲突”,只能串行
  • 大字段(如长文本、JSON)若出现在唯一键中,会显著增加哈希计算开销和内存占用
  • INSERT ... ON DUPLICATE KEY UPDATE 会同时计入插入键和更新键的哈希,可能意外扩大 writeset 范围

为什么开了 WRITESET 还是没提速?几个典型盲区

WRITESET 不是银弹,以下情况会让并行效果归零或倒退:

  • 从库 slave_parallel_workers 设为 0 或 1,等于白配
  • 主库大量使用 INSERT ... SELECT、LOAD DATA INFILE 等语句,它们不走行级 writeset 跟踪,降级为 COMMIT_ORDER 模式
  • 事务频繁更新热点行(如计数器字段、状态字段),导致 writeset 高频重叠,worker 线程反复等待
  • 从库 I/O 或 CPU 已饱和,加 worker 只是增加锁竞争,Performance Schema 中查 replication_applier_status_by_coordinator 会显示大量 WAITING 状态
  • 主库 binlog_row_image 设为 MINIMAL 且未建唯一键,writeset 无法准确推导变更行

最易被忽略的一点:WRITESET 依赖主库准确记录依赖关系,如果主库 MySQL 版本低于 8.0.1(WRITESET 引入版本),或者从库版本低于 8.0,该策略根本不会生效——它不是向后兼容的复制协议升级,而是 binlog 事件格式层面的变更。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2153

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1319

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

775

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

2912

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

4868

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1119

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5131

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

4542

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

5954

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 181人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 289人学习