怎样在MySQL中实现十万条数据的高效批量插入操作

落敏君_3326

落敏君_3326

2026-09-18

750人浏览

原创

mysql单条insert语句建议最多塞1000行,超2000行易因max_allowed_packet限制或sql解析开销导致变慢或报错;含大字段时应降至500或200行,并配合rewritebatchedstatements=true等配置优化。

怎样在mysql中实现十万条数据的高效批量插入操作

MySQL单条INSERT语句能塞多少行?别超2000

MySQL默认max_allowed_packet是64MB,但实际插入时,SQL解析开销和网络缓冲限制会让单条INSERT ... VALUES (...), (...), ...在1000–2000行左右就变慢甚至报错。超过这个数,不是被截断就是触发Packets larger than max_allowed_packet are not allowed

实操建议:

  • 按每批1000行切分数据,用foreach动态拼接VALUES子句(MyBatis)或executemany(Python)
  • 避免手动拼SQL字符串——容易SQL注入、字段顺序错位、NULL值处理出错
  • 如果某行数据含大字段(如TEXT、长JSON),这批上限要主动降到500甚至200

JDBC连接串不加rewriteBatchedStatements=true等于白优化

MyBatis或Spring JDBC即使用了addBatch() + executeBatch(),若JDBC驱动没开启重写机制,MySQL收到的仍是N条独立INSERT,不是一条多值语句。这是最常被忽略的配置点。

必须确认你的jdbc.url包含:

jdbc:mysql://host:3306/db?rewriteBatchedStatements=true&cachePrepStmts=true&prepStmtCacheSize=250

否则saveBatch()batchInsert mapper方法性能几乎等同于循环单插。

补充说明:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • cachePrepStmts=true让预编译语句复用,避免重复解析
  • 不加rewriteBatchedStatements时,executeBatch()只是把N次网络请求合并为一次TCP包,但服务端仍逐条执行
  • 该参数仅对PreparedStatement有效,对普通Statement无效

事务大小要平衡:太大OOM,太小锁太久

10万条数据不能包在一个事务里提交。InnoDB的undo log会暴涨,可能触发Lock wait timeout exceeded或直接OOM;但每条都自动提交又失去批量意义。

推荐做法:

  • 500010000行提交一次事务(视单行数据大小调整)
  • 显式用START TRANSACTION + COMMIT包裹批次,别依赖框架默认事务传播
  • 插入前临时禁用唯一索引检查(仅限可信数据):SET UNIQUE_CHECKS=0,插入完再设回1
  • 如果表有外键,插入前可设SET FOREIGN_KEY_CHECKS=0,但务必确保数据一致性

比INSERT还快10倍的方案:LOAD DATA INFILE

当数据已存在本地文件(CSV/TSV),LOAD DATA INFILE是MySQL原生最快方式,跳过SQL解析、连接交互、事务日志逐条刷盘,直写存储引擎。

典型命令:

LOAD DATA INFILE '/tmp/data.csv' INTO TABLE user FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (id, name, age);

注意前提:

  • MySQL服务端需有读取该路径权限(不是客户端机器)
  • 若用LOCAL INFILE,客户端JDBC连接串要加,且MySQL服务端<code>local_infile变量必须为ON
  • 文件字段顺序、空值、转义符需严格匹配,否则整批失败

真正卡住人的往往不是语法,而是事务边界控制和JDBC驱动行为——这两处一错,其他所有优化都打折扣。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3663

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

771

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

929

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5401

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2423

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5400

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

6981

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

950

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

832

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 168人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 267人学习