MySQL迁移千万级大表时导致undo log暴涨怎么办?

老强君_6270

老强君_6270

2026-10-12

353人浏览

原创

根本原因是分批迁移时事务未及时提交,导致隐式长事务持续持有readview,使旧版本数据无法被purge清理;应改用主键范围切片+显式commit,每批独立事务,并实时监控innodb_trx和history list length。

mysql迁移千万级大表时导致undo log暴涨怎么办?

迁移千万级大表时 undo log 暴涨,根本不是“导数据太慢”导致的,而是分批逻辑写法不当、事务未及时提交,把迁移过程变成了一个隐式长事务——哪怕你没显式 BEGIN,每一批没 COMMIT 就继续下一批,InnoDB 就会持续持有 ReadView,所有旧版本都钉死在 undo 里。

为什么用 LIMIT OFFSET 分页迁移会卡住 purge

常见错误写法是:INSERT INTO new_table SELECT * FROM old_table ORDER BY id LIMIT 10000 OFFSET 0,然后 OFFSET 加 10000 往下滚。问题在于:

  • MySQL 5.7/8.0 默认 autocommit=1,但一旦显式 START TRANSACTION 或执行了第一个 INSERT 后没 COMMIT,后续所有语句都在同一个事务里
  • LIMIT OFFSET 在大偏移下性能差,且容易漏行/重复,更关键的是——OFFSET 越大,扫描行数越多,事务内累积的 trx_rows_modified 越高,undo 消耗呈指数增长
  • 如果迁移脚本崩溃或被 kill,这个事务就变成 trx_state = 'RUNNING' 且 trx_query IS NULL 的幽灵连接,直接卡死 purge

必须用主键范围 + 显式 COMMIT 控制事务边界

正确做法是按主键(最好是自增 id)切片,每批独立事务:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 查出最小和最大 id:SELECT MIN(id), MAX(id) FROM large_table
  • 每次取一段连续区间,例如:SELECT * FROM large_table WHERE id BETWEEN 100000 AND 110000 ORDER BY id
  • 插入目标表后立刻 COMMIT;不要依赖 autocommit,显式写出来更安全
  • 批次大小建议 1万~5万行,具体看单行体积和网络延迟;超过 10 万行的批次要警惕 trx_rows_modified > 10000 触发 undo 压力阈值

迁移中如何实时监控 undo 是否被拖垮

别等磁盘告警才反应——迁移开始后每 2 分钟执行一次检查:

  • 查最老事务:SELECT trx_id, trx_started, trx_state, trx_rows_modified FROM information_schema.INNODB_TRX ORDER BY trx_started LIMIT 3,重点盯 trx_started 超过 600 秒且 trx_query IS NULL 的记录
  • 看 purge 进度:SHOW ENGINE INNODB STATUS\G,搜 PURGE DONE for trx's n:o,数字是否在缓慢递增;如果不涨,说明 purge 已被卡住
  • 查 history list:SELECT VARIABLE_VALUE FROM performance_schema.global_status WHERE VARIABLE_NAME = 'Innodb_history_list_length',持续 > 50000 就得干预
  • 若发现异常事务,先用 trx_mysql_thread_id 关联 information_schema.PROCESSLIST 确认来源,再按状态决定是否 KILL

迁移完成但 undo 文件仍不收缩?别删文件

即使数据迁完了,undo 文件物理尺寸也不会自动变小——ALTER UNDO TABLESPACE undo_001 TRUNCATE 不是“删文件”,而是标记空间可复用。但这个操作有前提:

  • 必须至少有 2 个 active undo 表空间(SHOW VARIABLES LIKE 'innodb_undo_tablespaces' ≥ 2),否则会报错 ERROR 3655 (HY000): Cannot set innodb_undo_001 inactive...
  • 必须先 CREATE UNDO TABLESPACE undo_003 ADD DATAFILE '/var/lib/mysql/undo_003.ibu'(注意后缀必须是 .ibu)
  • 再 ALTER UNDO TABLESPACE undo_001 SET INACTIVE,等 Innodb_history_list_length 显著回落(比如从 20 万降到 2 万以下),才能 TRUNCATE
  • MySQL 8.0.30+ 可用 OPTIMIZE TABLESPACE undo_001 真实释放磁盘;低于该版本只能停库重建 undo 文件,风险高,务必提前评估

真正难的从来不是“怎么把数据搬过去”,而是“怎么让 InnoDB 认为这些旧版本已经没人需要了”。迁移脚本里少一个 COMMIT,可能就要花半天时间去救 purge 线程。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2173

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1339

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

775

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

2972

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

5008

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1139

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5271

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

4642

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

6114

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 183人学习