如何解决MySQL导入SQL导致的内存溢出_分批次执行SQL或减小事务规模

落萱吖_2536

落萱吖_2536

2026-05-14

889人浏览

原创

应分批导入并控制事务大小:用sed提取insert语句,split按8000行切分,为每批添加start transaction和commit,再逐个执行mysql -u root -p db_name

如何解决mysql导入sql导致的内存溢出_分批次执行sql或减小事务规模

直接结论:MySQL导入大SQL文件爆内存,不是SQL写得不对,而是客户端或服务端一次性加载/执行太多——必须分批次切开,同时控制事务大小。

为什么source或mysql -e导入大SQL会OOM

MySQL客户端(如mysql命令行工具)默认把整个SQL文件读进内存再解析执行;遇到含百万级INSERT的单条语句(比如INSERT INTO t VALUES (...),(...),...带10万行),客户端进程自身先吃光几百MB内存。服务端虽不直接OOM,但大事务会锁表、撑爆innodb_log_file_size和innodb_buffer_pool_size缓冲区,触发系统级OOM Killer。

  • 现象:导入中途断连、ERROR 2013 (HY000): Lost connection to MySQL server during query,dmesg里有Kill process mysqld
  • 不是max_allowed_packet不够(那报的是Packets larger than max_allowed_packet)
  • 也不是innodb_buffer_pool_size设小了——它影响的是查询缓存,不是导入时的临时解析内存

用sed + split分批执行SQL文件(Linux/macOS)

核心是把一个巨型dump.sql按INSERT语句拆成多个小文件,每份控制在5000–10000行内,再逐个导入。

  • 先提取所有INSERT语句:sed -n '/^INSERT INTO/p' dump.sql > inserts.sql
  • 按每8000行切分:split -l 8000 -a 3 - inserts.sql batch_ → 生成batch_aaa、batch_aab等
  • 给每个分片加上事务头尾(避免每条INSERT单独提交):for f in batch_*; do echo "START TRANSACTION;" | cat - "$f" | echo "COMMIT;" >> "$f".sql; done
  • 逐个导入:for f in batch_*.sql; do mysql -u root -p db_name

注意:split只按行切,不保证INSERT语句完整性;若原SQL含多行VALUES,需先用mysqldump --skip-extended-insert导出,确保每行一个INSERT。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

用mysql命令行参数控制批量行为

不改SQL文件,靠客户端参数压制内存占用:

  • 禁用自动提交:mysql -u root -p --init-command="SET autocommit=0" db_name ,配合SQL里显式<code>COMMIT可减少日志压力
  • 限制单次读取大小(仅对mysql 8.0+有效):mysql --max-allowed-packet=64M --net-buffer-length=1M -u root -p db_name ,<code>--net-buffer-length控制客户端网络包缓冲,能缓解解析阶段内存堆积
  • 绝对不要加--force——它会让客户端忽略错误继续执行,OOM前可能已写入脏数据

这些参数治标不治本;如果dump.sql本身含CREATE TABLE和INSERT混排,仍建议先用mysqldump --no-create-info分离结构与数据,再分批导入数据部分。

导入前必须做的三件事

否则分批也救不了:

  • 确认max_allowed_packet ≥ 单条最长INSERT的字节数(查SELECT @@max_allowed_packet,单位字节;设为256M即268435456)
  • 临时调大innodb_log_file_size(需停库重置),避免大事务刷日志失败;线上环境慎动,优先选小事务
  • 关掉innodb_doublewrite(仅测试环境!):SET GLOBAL innodb_doublewrite = OFF;,能提速30%,但牺牲崩溃恢复安全性

最易被忽略的是事务粒度——哪怕分了100批,如果每批仍是INSERT ... VALUES (1),(2),...,(10000)一条语句,客户端内存照样崩。真正安全的做法:每批只含100–500行INSERT,且每条INSERT独立成行。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3943

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

851

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1029

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5781

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2723

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5760

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7621

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1050

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

912

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 178人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 282人学习