怎样用mysqldump安全迁移MySQL单张千万级大表

酷静君_5266

酷静君_5266

2026-11-11

625人浏览

原创

mysqldump导出千万级表卡住或OOM,根本原因是默认mysql_store_result模式将整表结果全载入客户端内存,1000万行×2KB即20GB,触发OOM;必须用--quick启用流式读取,并配套--single-transaction防锁表、--skip-extended-insert防语句超限。

怎样用mysqldump安全迁移mysql单张千万级大表

mysqldump 导出千万级表时为什么卡住或 OOM?

因为 mysqldump 默认逐行读取并拼接 SQL,对单表超千万行、平均行宽 >1KB 的场景,客户端内存极易爆掉;同时未加锁或锁表时间过长,会导致业务写入阻塞甚至超时。这不是工具不行,而是默认行为没适配大表场景。

关键不是“能不能导”,而是“怎么控制内存、锁、网络和重试”。实操中必须绕开 --opt(它默认启用 --extended-insert + --lock-tables),并手动拆解控制粒度:

  • --single-transaction 必选(InnoDB 下一致性快照,不锁表),但需确认 binlog_format=ROW 且事务中无 DDL
  • 禁用 --lock-tables(它会锁全库所有表),显式用 --skip-lock-tables
  • 用 --skip-extended-insert 换成单行 INSERT,避免单条语句过大拖慢解析和重试;但更推荐保留 --extended-insert + --net-buffer-length=1048576 控制每批数据大小
  • 加 --compress 减少网络传输量(服务端和客户端都需启用 zlib)

如何分批次导出并避免主键冲突?

直接 mysqldump 全量导出再导入,目标库若已有部分数据,INSERT INTO ... VALUES 会因主键重复失败。不能依赖 --replace 或 --insert-ignore —— 前者会删再插,触发外键/触发器/日志;后者静默丢数据,不可审计。

安全做法是导出时带上条件,并在导入前清理或跳过已存在范围:

  • 用 --where="id > 1000000 AND id 分段导出,配合自增主键或时间字段做切片
  • 导出文件名带范围标识:mysqldump -u u -p db tbl --where="created_at >= '2023-01-01' AND created_at tbl_202301.sql
  • 导入前在目标库执行 DELETE FROM tbl WHERE created_at >= '2023-01-01' AND created_at ,再 source,确保幂等
  • 避免用 SELECT * INTO OUTFILE 替代 —— 它不带建表语句、无字符集声明、无法跨版本兼容

导入时如何提速且不拖垮从库?

直接 mysql -u u -p db 在从库执行,会逐条回放 SQL,IO 和 CPU 压力陡增,可能触发 Seconds_Behind_Master 飙升甚至复制中断。

win可用的mysql指令skill
win可用的mysql指令skill

安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。

下载

必须调整服务端参数 + 客户端行为:

  • 导入前在目标实例执行:SET SESSION unique_checks=0; SET SESSION foreign_key_checks=0;(导入完记得设回 1)
  • 用 mysql --max-allowed-packet=512M -u u -p db 启动,防止大 INSERT 被截断
  • 导入命令加 --force(跳过单条错误继续,避免整个文件中断),但要配合日志重定向:mysql -u u -p db import.err
  • 若目标库为从库,先 STOP SLAVE;,导入完成再 START SLAVE;,比开着复制硬扛更稳

为什么不能只靠 mysqldump?哪些情况该换方案?

当单表超过 5000 万行、或平均行宽 >2KB、或字段含 TEXT/BLOB,mysqldump 的文本序列化瓶颈就非常明显:导出慢、网络易断、导入后二级索引重建耗时远超数据加载本身。

这时应切换路径,而非调参硬扛:

  • 同机房迁移:用 Percona XtraBackup 物理备份,恢复快、不锁表、支持流式压缩传输
  • 跨版本或异构迁移:先导出为 CSV(SELECT ... INTO OUTFILE),再用 LOAD DATA INFILE 或 mysqlimport,绕过 SQL 解析层
  • 有停机窗口:停写后 FLUSH TABLES WITH READ LOCK + cp /var/lib/mysql/db/tbl.*,但仅限同版本、同页大小、同大小端

真正容易被忽略的是字符集与排序规则的隐式转换——哪怕源库 utf8mb4_unicode_ci,导出时没加 --default-character-set=utf8mb4,导入后中文可能乱码或比较异常,这个细节在分批迁移中极难排查。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2573

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1539

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

915

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3672

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

6368

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1339

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

6631

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

5682

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

7714

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 196人学习