在高可用数据库架构中执行大批量DELETE如何避免节点同步脱节?

冬敏姑娘_8707

冬敏姑娘_8707

2026-11-11

136人浏览

原创

根本原因是单事务体积过大导致SQL Thread串行阻塞、binlog事件堆积及从库随机IO与锁争用加剧;需分批删除、加索引、用分区或TRUNCATE替代。

在高可用数据库架构中执行大批量delete如何避免节点同步脱节?

大批量 DELETE 为什么会让从库同步脱节

根本原因不是 DELETE 本身,而是它在主从复制链路中触发的三重压力:单事务体积过大、SQL Thread 回放阻塞、以及 binlog 事件堆积。比如一个 DELETE FROM orders WHERE create_time 操作若影响 500 万行,在 ROW 格式 binlog 中会生成 500 万条前后镜像记录,从库 SQL Thread 必须串行回放——这期间 Seconds_Behind_Master 会持续飙升,且真实延迟远超该值显示(SBM 在大事务回放中“卡住不动”是已知缺陷)。

  • 主库写入快,从库回放慢 → relay log 积压,IO Thread 被拖慢 → 新增查询请求打到从库时,数据还没落地
  • 如果此时发生主库切换(如 MHA 触发),新主库可能缺失这批未回放的删除操作,导致数据不一致
  • 更隐蔽的是:某些 ORM 或中间件会自动将带时间条件的 SELECT 路由到从库,而该从库尚未执行完删除,就会查到“本该已被删掉”的脏数据

用 LIMIT + 循环替代单条大 DELETE

这是最直接、兼容性最强的规避手段。核心是把一个巨型事务拆成多个小事务,控制每个事务影响行数在 1 万以内(具体阈值需结合从库回放能力压测确定),并确保每次提交后从库能及时追上。

  • 避免使用 DELETE ... LIMIT N 直接循环(易漏删或重复删),应基于自增主键或时间+ID 组合分段,例如:
    DELETE FROM orders WHERE id BETWEEN 1000001 AND 1010000 AND create_time
  • 每次执行后主动检查从库延迟:SHOW REPLICA STATUS\G(MySQL 8.0.22+)或 SHOW SLAVE STATUS\G,确认 Seconds_Behind_Master ≤ 5 秒再进行下一批
  • 加 SLEEP(0.1) 或更长间隔(如 0.5 秒),给从库留出回放缓冲窗口,尤其当从库配置低于主库时

从库启用 parallel_applier 配置加速回放

MySQL 5.7+ 支持多线程回放(MTS),但默认只对不同 database 的事务并发,对单表大批量操作无效。必须显式开启基于逻辑时钟(LOGICAL_CLOCK)的并行策略,才能让同一库内不同分区/不同行的 DELETE 并行回放。

DrugBank 数据库
DrugBank 数据库

访问并分析来自 DrugBank 数据库的全面药物信息,包括药物属性、相互作用、靶点、通路、化学结构和药理学数据。用于药物数据、药物发现研究、药理学研究、药物-

下载
  • 主库需设置:binlog_transaction_dependency_tracking = WRITESET(推荐)或 COMMIT_ORDER
  • 从库需设置:slave_parallel_type = LOGICAL_CLOCK 和 slave_parallel_workers = 4(根据 CPU 核数调整)
  • 验证是否生效:执行后查 SHOW PROCESSLIST,应看到多个 Worker 线程处于 Slave_worker 状态,而非仅一个 SQL_Thread
  • 注意:启用 WRITESET 后主库 binlog 体积略增(记录写集哈希),但换来的是从库回放速度提升 3–5 倍,对高延迟场景收益显著

业务层绕过从库读取刚删除的数据

即使做了上述优化,从库仍存在秒级延迟。真正杜绝“查到已删数据”,必须在应用侧做一致性兜底,不能依赖数据库自动同步完成。

  • 对刚执行过 DELETE 的关键业务 ID(如用户 ID、订单号),后续相关 SELECT 强制走主库,可用注释标记:/* FORCE_MASTER */ SELECT * FROM orders WHERE user_id = 123;
  • 引入轻量缓存层(如 Redis),在 DELETE 执行成功后立即 DEL order:123,查询时先查缓存再查库,避免穿透到延迟从库
  • 若使用 ShardingSphere、MyCat 等中间件,配置 hint 或 sql-hint 路由策略,对特定 DELETE 关联的查询动态切主

批量 DELETE 不是性能问题,是数据可见性问题。所有技术手段都只能压缩延迟窗口,无法彻底消除。真正可靠的方案,永远是应用层主动识别“刚删”场景,并绕过从库——这点最容易被忽略,也最常在线上引发客诉。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

数据库

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2573

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1539

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

915

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3672

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

6368

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1339

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

6631

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

5662

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

7714

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
DBeaver生态工具dbvr官方手册
DBeaver生态工具dbvr官方手册

共0课时 | 0人学习

DBeaver AI数据隐私指南
DBeaver AI数据隐私指南

共0课时 | 0人学习