MySQL如何解决Update语句在大事务中导致的内存溢出_分块提交SQL

雨磊同学_7611

雨磊同学_7611

2026-05-15

707人浏览

原创

mysql大事务update易oom主因是事务临时内存(undo log、sp_head::main_mem_root等)暴增,与innodb_buffer_pool_size无关;须用主键范围分块(如between)、每批commit、监控innodb_buffer_pool_wait_free及rss增长,严控sort_buffer_size、performance_schema等隐性内存源。

mysql如何解决update语句在大事务中导致的内存溢出_分块提交sql

Update大事务为什么一跑就OOM

不是SQL写错了,是MySQL在执行单条大UPDATE时,会把所有匹配行的旧值+新值+undo log全塞进内存(尤其是sp_head::main_mem_root和InnoDB事务系统),并发一高或数据量超10万行,RSS直接飙到几个GB。这时候innodb_buffer_pool_size调再小也没用——它管不了事务临时内存。

怎么安全分块:WHERE条件必须带索引主键/唯一键

不能靠LIMIT硬切,否则可能漏更新或重复更新。正确做法是用主键范围滚动推进:

  • 先查出最小和最大主键:SELECT MIN(id), MAX(id) FROM t_user;
  • 按步长(比如5000)分段:UPDATE t_user SET status=1 WHERE id BETWEEN 10001 AND 15000 AND status=0;
  • 每次执行后检查ROW_COUNT()是否为0,为0说明本段无更新,可跳过
  • 别用OFFSET分页式写法(LIMIT 10000,5000),它会扫全表偏移,越往后越慢还吃内存

自动分块脚本的关键控制点

手动切太累,但写脚本要注意三件事:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 每批UPDATE后必须COMMIT,否则事务日志和锁持续累积;不要等整个脚本结束才提交
  • 加SLEEP(0.1)(毫秒级)防CPU打满、避免触发max_connections耗尽
  • 监控SHOW STATUS LIKE 'Innodb_buffer_pool_wait_free';,如果>0,说明缓冲池已吃紧,要立刻降速或暂停
  • 别在从库上直接跑——大事务会阻塞复制,优先在主库执行并确认Seconds_Behind_Master归零后再切下一批

容易被忽略的隐性内存放大器

就算你分了块,以下配置仍可能让每批更新悄悄吃掉额外几百MB:

  • sort_buffer_size和join_buffer_size设得太高(如设成8M),哪怕没ORDER BY或JOIN,MySQL也可能为优化器预分配
  • tmp_table_size和max_heap_table_size过大,导致UPDATE ... JOIN或子查询临时表直接进内存而非磁盘
  • 开了performance_schema且启用了memory/sql/sp_head采集,每个分块都新建一个sp_head实例,不释放
  • 触发器存在时,每个分块更新都会触发一次,而触发器代码全堆在main_mem_root里,不随事务提交释放

分块本身不解决根本问题,它只是把“一次爆内存”变成“多次可控内存”,真正要盯的是每批执行时ps aux --sort=-%mem里mysqld进程的RSS增长曲线——如果每批涨200MB且不回落,说明有内存没被回收,得回头查触发器或PS配置。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4283

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

911

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1109

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6201

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3043

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6180

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

8341

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1130

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

992

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 187人学习