技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因

风浩小哥_5926

风浩小哥_5926

2025-07-10

974人浏览

原创

作者:郭斌斌

爱可生 DBA 团队成员,负责项目日常问题处理及公司平台问题排查。

本文来源:原创投稿

*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

一、背景

客户反馈在生产环境中,MySQL 5.7 使用 xtrabackup 和 Binlog 进行基于时间点的恢复操作时,卡在 Binlog 的回放阶段,时间漫长,令人怀疑这种操作的合理性。因此,本文进行了 Binlog 回灌验证操作。

二、复现前提 MySQL 版本:5.7.22

Binlog 格式:Row

Drizzle ORM TypeScript SQL 数据库工具包
Drizzle ORM TypeScript SQL 数据库工具包

Drizzle ORM 是一个轻量级的 TypeScript ORM,提供类型安全的 SQL 模式声明、关系型和类 SQL 查询构建器,以及自动生成迁移。其压缩后仅 7.4kb,且无依赖项,支持 PostgreSQL、MySQL 和 SQLite,包括 Neon、Turso 和 Cloudflare D1 等无服务器数据库。

下载

准备删除 800 多万记录的 Binlog

三、复现准备 3.1 创建表、构造数据

mysql> create table t1(id int primary key,name varchar(10));
Query OK, 0 rows affected (0.02 sec)

mysql> insert into t1 values(1,repeat('a',10));
Query OK, 1 row affected (0.01 sec)

mysql> insert into t1 select (select count(1) from t1)+id,name from t1;
Query OK, 1 row affected (0.01 sec)
Records: 1  Duplicates: 0  Warnings: 0

………………

mysql> insert into t1 select (select count(1) from t1)+id,name from t1;
Query OK, 4194304 rows affected (57.75 sec)
Records: 4194304  Duplicates: 0  Warnings: 0

3.2 准备删除 800 多万记录的 Binlog 文件

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 MySQL Binlog mysql-bin.000003 用于回灌测试

3.3 由于 Binlog 的回灌和造数是在同一个实例上,之前为了构建删除 800 多万记录的 Binlog,已经将数据删除,因此在进行 binlog 回灌前,需要使用之前造数的方法,重新造数

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 3.4 在同一个实例上先进行了删除操作,又重新构建新的数据。导致删除操作的 GTID 比重新造数操作的 GTID 小,为保证可以正常回灌,可以执行 reset master

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 四、复现测试 4.1 解析 MySQL Binlog mysql-bin.000003

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.2 导入解析文件

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.3 查看 processlist,发现导入线程一直处于 Sleep 状态,现象与客户描述一致。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.4 随即中断导入操作,重新发起导入同时使用 strace 记录操作的行为。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.5 通过观测产生的 strace.log,发现两个 read 的时间间隔不固定,少的也需要140ms左右,而读取的大小却只有4k(4096),读取效率偏低。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 五、分析 通过 Google 搜索“MySQL Mem Load Slow”,发现这是一个已知的 BUG,MySQL 5.7 Client 在读取较大事务(涉及多行操作)时,由于内存分配效率低,导致消耗大量时间,已在 MySQL 8.0.13 中修复。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 六、复测 6.1 使用 MySQL 8.0.18 客户端进行 Binlog 解析文件的回灌,提示 MySQL Server has gone away

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.2 导数报错时数据库未触发重启,查看 error 日志,有如下报错:

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.3 调大 max_allowed_packet 配置后重新测试

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.4 观测 strace 日志,每次读取 Binlog 大小为16M,远高于原来的4k

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.5 观测线程状态

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.6 观察执行耗时,MySQL 8.0.18 客户端导数时间变短,效率提升明显。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 七、结论 目前官方在 MySQL 8.0.13 版本中,已解决“使用 MySQL Client 进行批量导数时,内存分配效率低”的问题。因此,MySQL 8.0.18 客户端在进行回灌 Binlog 解析后的文件时,读取文件效率明显高于 5.7.22 的客户端,提升了 Binlog 回放的效率。

参考链接 https://www.php.cn/link/251b4805008712ec04e69c6569bfb189

https://www.php.cn/link/b16a9e8de58c95b427b29472b1eca130

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

数据库 mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2693

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1619

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

955

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3912

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

6848

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1419

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

7131

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

6042

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

8274

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程