如何使用MySQL主从架构进行大规模数据的平滑迁移?

秋静姑娘_3271

秋静姑娘_3271

2026-07-18

911人浏览

原创

gtid是大规模主从迁移的生存底线,必须开启gtid_mode=on且enforce_gtid_consistency=on,从库启用master_auto_position=1,通过对比@@gtid_executed校验全量同步完整性,严禁手动指定binlog位置。

如何使用mysql主从架构进行大规模数据的平滑迁移?

主从复制不是“开个复制就完事”的黑盒,它在大规模迁移中极易因延迟、一致性、切流原子性三个环节崩盘。真正能撑住百亿级平滑迁移的,是把 Seconds_Behind_Master 当假象、把 GTID 当必需、把应用层写入控制当命门来处理。

为什么 Seconds_Behind_Master = 0 不能代表数据已追平

这个值只反映SQL线程当前回放位置和IO线程拉取位置的差值,不体现并行队列堆积或大事务卡点。高并发下常见现象:状态显示为0,但新插入的订单在从库查不到——因为事务还在 replication_applier_status_by_coordinator 的等待队列里没调度出去。

  • 必须监控 performance_schema.replication_applier_status_by_coordinator 中的 APPLYING_EVENT 和 QUEUE_SIZE,后者持续 > 10 就说明并行压力已饱和
  • SHOW SLAVE STATUS 里的 Exec_Master_Log_Pos 和主库 SHOW MASTER STATUS 的 Position 对比才具实际意义,但仅适用于非GTID模式
  • 大事务(如全表 UPDATE 或 ALTER TABLE)会强制退化为单线程回放,此时 Seconds_Behind_Master 会跳变式飙升,且无法靠增加 slave_parallel_workers 缓解

切流前必须停写旧主库,而不是只改DNS或VIP

应用连接池有长连接缓存、中间件路由规则有生效延迟、JDBC驱动可能复用旧连接——这些都会导致切流后仍有写请求打到旧主库,新主库完全收不到,立刻产生双写不一致。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 执行 SET GLOBAL read_only = ON 是比 FLUSH TABLES WITH READ LOCK 更稳妥的选择,它不阻塞读,且可立即生效(需确认变量已写入配置文件,避免重启失效)
  • 切流动作必须三者同步:应用配置更新(如Spring Boot的spring.datasource.url)、连接池强制刷新(如HikariCP调用evictAllConnections())、中间件路由规则发布(如ShardingSphere的ALTER SHARDING RULE)
  • 切完立刻验证:查新主库的 SELECT @@gtid_executed,与旧主库执行 SELECT @@gtid_executed 对比,确保新主库包含全部GTID集合;若不一致,说明有漏写

GTID 不是可选项,而是大规模迁移的生存底线

不开 GTID,你得手动找 binlog filename + position,而高流量下这个位置每秒滚动几十次。一次配错,轻则从库跳过关键事务,重则重复执行导致主键冲突或金额翻倍。

  • 迁移前必须确认源库已开启 gtid_mode = ON 且 enforce_gtid_consistency = ON,否则无法安全启用复制
  • 从库启动复制时必须用 CHANGE MASTER TO ... MASTER_AUTO_POSITION = 1,禁用基于 position 的手工指定
  • 如果源库历史未开 GTID,不要尝试在线转换——RESET MASTER 会清空所有 binlog,导致增量同步断档;应先用逻辑导出工具(如 mydumper)做一次全量,再以该时刻为起点开启 GTID 复制

金仓等国产库兼容MySQL时,主从迁移要额外验什么

语法兼容不等于行为兼容。比如金仓数据库虽支持 INSERT ... ON DUPLICATE KEY UPDATE,但其内部锁机制与MySQL不同,可能导致主从间死锁顺序不一致,进而引发复制中断。

  • 必须开启 mysql_compatibility_mode = on,并在从库侧显式设置 SET SESSION sql_mode = 'STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER',否则某些隐式类型转换行为会不一致
  • 重点校验 TINYINT(1) 是否被当作布尔类型处理、DATETIME(6) 微秒精度是否完整保留、JSON_EXTRACT() 返回值是否带多余空格
  • 使用 KES-Migrator 扫描存量存储过程和触发器,它能识别出 REPLACE INTO 在金仓中实际被重写为 INSERT ... ON CONFLICT DO UPDATE 的语义差异,避免迁移后逻辑错乱

真正难的从来不是让数据跑起来,而是让数据在跑的过程中不丢、不错、不慢。主从迁移里最易被忽略的,是把“复制链路通了”当成“业务可切了”,而实际卡点永远在应用层写入控制和GTID边界校验上。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2073

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1279

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

735

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

2792

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

4628

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1079

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

4891

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

4362

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

5694

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 178人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 285人学习