myloader恢复慢主因是未显式设置--threads参数,默认仅4线程且不自动适配CPU核数;必须手动指定线程数(如--threads=8),并配合--queries-per-transaction调优、预建schema、关闭外键/唯一检查等措施。

myloader恢复速度慢?先确认是否真用了多线程
默认情况下myloader是单线程导入的,哪怕备份是mydumper多线程生成的,不显式指定参数就等于白费。必须用-t(或--threads)明确设置线程数,否则你看到的“正在导入”可能卡在单个大表上半天不动。
常见错误现象:myloader -u root -p -o /backups/20240515 这种写法看着简洁,实际只跑1个线程;top里mysqld CPU占用率长期低于20%,IO也不高,就是导入进度条几乎不动。
-
-t 8是较安全的起点:对应8核CPU,避免过度争抢连接和锁资源 - 超过16线程需配合调整MySQL的
max_connections和innodb_buffer_pool_size,否则会触发Too many connections或频繁刷脏页 - 不要盲目设
-t 32——实测在32核机器上,-t 16比-t 32快15%,因为线程调度开销反超收益
表结构与数据文件分离导致恢复失败?检查目录结构是否完整
myloader严格依赖mydumper输出的目录格式:每个表对应一个.sql(结构)和若干.sql或.csv(数据分片),还必须有metadata文件记录binlog位置。缺任何一类,myloader会静默跳过该表,或报Table 'xxx' doesn't exist后中断。
典型问题场景:手动压缩整个备份目录时用了tar -czf但忘了--dereference,导致软链接schema目录丢失;或用rsync同步时漏掉了隐藏文件.mydumper。
- 恢复前务必执行:
ls -l /backups/20240515/ecommerce/,确认存在orders.sql(结构)、orders.00001.sql(数据分片)、metadata - 若只有
orders-schema.sql而无orders.00001.sql,说明mydumper执行时加了--no-data,这不是恢复问题,是备份没导出数据 -
myloader不会自动创建数据库,必须提前执行CREATE DATABASE ecommerce,否则报Unknown database 'ecommerce'
导入中途卡住或报错Lock wait timeout?关掉外键和唯一检查
大表恢复时,myloader默认逐条插入并校验外键、唯一索引,遇到重复值或约束冲突会等锁甚至超时。尤其当备份来自主库而目标是新实例(含历史残留数据)时,极易触发Lock wait timeout exceeded或Duplicate entry。
安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。
这不是网络或磁盘问题,而是MySQL服务端的约束检查机制在拖慢速度。绕过它不等于丢数据一致性,因为逻辑备份本身已保证事务快照,导入阶段禁用检查只是加速重建。
- 启动
myloader时加上--disable-eniforces(注意拼写是eniforces,不是enforces)——这是myloader特有参数,关闭外键约束检查 - 额外加
--queries-per-transaction=10000,把每1万行包在一个事务里,减少日志刷盘次数 - 如果目标库确定干净(全新实例),可加
--overwrite-tables直接删旧表重建,避免Table exists报错中断
为什么恢复后数据量对不上?别忽略metadata里的binlog位点
myloader本身不操作binlog,它只管把SQL文件执行进数据库。但mydumper生成的metadata文件里记录了备份时刻的File和Position,这是做后续增量恢复的唯一依据。很多人恢复完就以为万事大吉,结果发现少了最后几分钟的数据——因为没比对metadata和当前主库的SHOW MASTER STATUS。
容易被忽略的操作:恢复完成后,必须人工验证metadata中记录的binlog位置是否可被当前主库读取。如果主库已rotate过日志,那个File可能已被删除,导致无法追平。
- 查看备份位点:
grep "Finished" /backups/20240515/metadata→ 输出类似Finished dump at: 2024-05-15 03:22:17, binlog: binlog.000123, pos: 123456789 - 登录目标MySQL执行:
SHOW BINLOG EVENTS IN 'binlog.000123' FROM 123456789 LIMIT 1;,若返回Error 1220(日志不存在),说明需要先从最近的全量备份+binlog归档中补数据 - 生产环境建议把
myloader命令封装进脚本,并在末尾自动调用mysqlbinlog校验位点有效性










