MySQL跨服务器迁移大量数据怎么做_利用mydumper并行导入导出

秋涛姑娘_5171

秋涛姑娘_5171

2026-03-20

889人浏览

原创

mydumper 比 mysqldump 快因其默认按表并行导出、支持大表分 chunk(基于主键或自增列),而 mysqldump 为单线程且全表锁;实操需注意锁策略、并发数、chunk 大小、空目录及 schema 导出。

mysql跨服务器迁移大量数据怎么做_利用mydumper并行导入导出

mydumper 导出时为什么比 mysqldump 快

因为 mydumper 默认按表并行导出,还能拆分大表为多个 chunk(基于主键或自增列),每个 chunk 单独写入文件;而 mysqldump 是单线程、全表锁(除非加 --single-transaction)、无法切片。

实操建议:

  • 导出前确认源库有全局读锁能力(FLUSH TABLES WITH READ LOCK)或启用 --no-locks + --single-transaction(仅适用 InnoDB)
  • 用 --threads=8 控制并发数,别盲目设太高——超过 CPU 核心数后 I/O 和锁争用反而拖慢
  • 大表导出务必加 --chunk-filesize=64(单位 MB),避免单个 SQL 文件过大导致导入失败或内存溢出
  • 导出目录必须为空,mydumper 不会覆盖同名文件,而是直接报错 Directory not empty

myloader 导入时报错 “Unknown database” 或 “Table doesn’t exist”

这是路径或元数据不匹配的典型表现:不是数据丢了,是 myloader 没找到对应 schema 或没执行建库建表语句。

实操建议:

  • 确保导出时用了 --compress 就得用 --compress-protocol 导入,否则协议不匹配会静默跳过部分文件
  • 导入前手动创建目标库:CREATE DATABASE IF NOT EXISTS target_db,myloader 默认不自动建库
  • 检查导出目录下是否有 metadata 文件和 target_db.create.sql —— 如果没有,说明导出时漏了 --schema 参数
  • 导入命令必须指定库名:myloader --directory=./dump --database=target_db --threads=8,不能只写路径

跨服务器迁移时网络中断或导入卡住怎么续传

mydumper/myloader 本身不支持断点续传,但可以通过文件粒度+状态标记来模拟。

MySQL8 CRM Schema Design Expert
MySQL8 CRM Schema Design Expert

面向 CRM 系统的 MySQL 8 数据库模式设计。当用户需要为客户关系管理(CRM)系统设计、评审、优化或生成数据库模式时,应使用此项技能。

下载

实操建议:

  • 导出用 --outputdir 指定绝对路径,并记录最后完成的表名(看 metadata 文件里的 Finished dump at: 时间戳)
  • 导入前先 ls -1 ./dump/*.sql | grep -v "\.create\.sql" | wc -l 统计总表数,再用 mysql -e "SHOW TABLES IN target_db" 查已存在表,差集即为待补表
  • 对未完成的表,单独用 myloader --database=target_db --table=xxx --directory=./dump 补导,注意加 --overwrite-tables(否则跳过)
  • 别依赖 --resume —— 这是旧版 mydumper 的实验性参数,新版已移除,文档里也明确写了 “not reliable”

导入后数据量对不上,count(*) 差几万行

常见于含 TEXT/BLOB 字段的表,或字符集转换异常(比如源库是 utf8mb4,目标库默认 latin1),导致部分行写入失败但无报错。

实操建议:

  • 导入后立刻查 myloader 输出末尾的 summary 行,重点关注 Loaded data 和 Skipped tables 数字,不是所有跳过都会打 warning
  • 对比源/目标库的 information_schema.TABLES 中 TABLE_ROWS —— 这个值不准,改用 SELECT COUNT(*) FROM table_name 实测
  • 开 --verbose=3 重新导入一次,捕获日志里类似 Query failed (1366): Incorrect string value 的错误
  • 目标库初始化时就指定字符集:CREATE DATABASE target_db CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci

真正麻烦的是外键约束和触发器——它们不会被 mydumper 自动禁用,导入中途失败可能导致部分表数据写入、部分没写,且没回滚。动手前先 SET FOREIGN_KEY_CHECKS=0 和 SET SQL_LOG_BIN=0,这些得在导入前手动执行。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

5956

5

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

2025.12.08

1269

12

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

243

5

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

526

22

服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

457

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

980

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

3372

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

1096

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

989

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 193人学习