mysql单条insert语句建议最多塞1000行,超2000行易因max_allowed_packet限制或sql解析开销导致变慢或报错;含大字段时应降至500或200行,并配合rewritebatchedstatements=true等配置优化。

MySQL单条INSERT语句能塞多少行?别超2000
MySQL默认max_allowed_packet是64MB,但实际插入时,SQL解析开销和网络缓冲限制会让单条INSERT ... VALUES (...), (...), ...在1000–2000行左右就变慢甚至报错。超过这个数,不是被截断就是触发Packets larger than max_allowed_packet are not allowed。
实操建议:
- 按每批
1000行切分数据,用foreach动态拼接VALUES子句(MyBatis)或executemany(Python) - 避免手动拼SQL字符串——容易SQL注入、字段顺序错位、NULL值处理出错
- 如果某行数据含大字段(如
TEXT、长JSON),这批上限要主动降到500甚至200
JDBC连接串不加rewriteBatchedStatements=true等于白优化
MyBatis或Spring JDBC即使用了addBatch() + executeBatch(),若JDBC驱动没开启重写机制,MySQL收到的仍是N条独立INSERT,不是一条多值语句。这是最常被忽略的配置点。
必须确认你的jdbc.url包含:
jdbc:mysql://host:3306/db?rewriteBatchedStatements=true&cachePrepStmts=true&prepStmtCacheSize=250
否则saveBatch()或batchInsert mapper方法性能几乎等同于循环单插。
补充说明:
-
cachePrepStmts=true让预编译语句复用,避免重复解析 - 不加
rewriteBatchedStatements时,executeBatch()只是把N次网络请求合并为一次TCP包,但服务端仍逐条执行 - 该参数仅对
PreparedStatement有效,对普通Statement无效
事务大小要平衡:太大OOM,太小锁太久
10万条数据不能包在一个事务里提交。InnoDB的undo log会暴涨,可能触发Lock wait timeout exceeded或直接OOM;但每条都自动提交又失去批量意义。
推荐做法:
- 每
5000–10000行提交一次事务(视单行数据大小调整) - 显式用
START TRANSACTION+COMMIT包裹批次,别依赖框架默认事务传播 - 插入前临时禁用唯一索引检查(仅限可信数据):
SET UNIQUE_CHECKS=0,插入完再设回1 - 如果表有外键,插入前可设
SET FOREIGN_KEY_CHECKS=0,但务必确保数据一致性
比INSERT还快10倍的方案:LOAD DATA INFILE
当数据已存在本地文件(CSV/TSV),LOAD DATA INFILE是MySQL原生最快方式,跳过SQL解析、连接交互、事务日志逐条刷盘,直写存储引擎。
典型命令:
LOAD DATA INFILE '/tmp/data.csv' INTO TABLE user FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (id, name, age);
注意前提:
- MySQL服务端需有读取该路径权限(不是客户端机器)
- 若用
LOCAL INFILE,客户端JDBC连接串要加,且MySQL服务端<code>local_infile变量必须为ON - 文件字段顺序、空值、转义符需严格匹配,否则整批失败
真正卡住人的往往不是语法,而是事务边界控制和JDBC驱动行为——这两处一错,其他所有优化都打折扣。











