为什么在SQL中批量INSERT时使用事务能显著提升速度?

云晨同学_2325

云晨同学_2325

2026-09-10

203人浏览

原创

autocommit=1 是默认性能陷阱,每条 insert 触发完整事务闭环,10 万行即 10 万次 i/o;关闭自动提交并批量插入(begin+多值 insert+commit)可提速数十倍。

为什么在sql中批量insert时使用事务能显著提升速度?

autocommit=1 是默认的性能陷阱

MySQL 默认开启自动提交,INSERT 语句不是“插一行”,而是“BEGIN → 插入 → COMMIT”三步闭环。每条记录都触发一次 redo log 写入、一次 fsync 刷盘、一次锁获取与释放、一次事务状态切换。10 万行 = 10 万次磁盘 I/O(或至少 10 万次日志缓冲区同步)。这不是数据库慢,是你在主动给它加了 10 万次“小任务”。

实测中,关闭自动提交后用 BEGIN 包裹 1000 条 INSERT 再 COMMIT,耗时可从 42 秒降到 1.7 秒——差的不是 SQL,是事务边界。

  • SELECT @@autocommit; 必须先查,别假设生产环境已改
  • ORM 框架(如 Spring)的 @Transactional 不覆盖纯数据导入逻辑,不能依赖
  • 应用层连接池里裸写 SET autocommit = 0 后必须配对 COMMIT 或 ROLLBACK,否则下次复用该连接会卡在未提交事务中

事务内日志刷盘和索引更新被批量合并

事务不是“把多条 SQL 堆一起”,而是让 InnoDB 把这 N 行的变更统一收口:redo log 只刷一次盘(取决于 innodb_flush_log_at_trx_commit),undo log 统一管理,B+ 树索引更新也延迟到 COMMIT 前一次性合并。避免了频繁页分裂和随机 I/O。

尤其当主键无序(如 UUID)时,单条插入极易引发 B+ 树节点反复分裂;而批量插入下,InnoDB 能更高效地预分配和重排页空间。

OpenPerplex
OpenPerplex

一款AI工具,主要用于OpenPerplex是一个开源的AI搜索引擎,致力于整合多种信息源,为用户提供智能精准的搜索体验,适合需要提升相关任务效率的用户。

下载
  • 事务太长会撑爆 undo log,主从延迟加剧,甚至触发 innodb_lock_wait_timeout
  • 推荐单次事务控制在 1000–5000 行,具体看单行大小(比如含大文本字段就得往下调)
  • 避免在事务中混杂 SELECT ... FOR UPDATE 或复杂子查询——它们会阻塞事务提交路径

多值 INSERT + 事务才是完整组合拳

光开事务不合并语句,只是省了刷盘,没省解析和网络开销。真正提速 10–50 倍的关键,在于把 1000 条单值 INSERT INTO t VALUES (a); INSERT INTO t VALUES (b); 改成一条多值语句:INSERT INTO t VALUES (a), (b), ..., (z);。这样只做一次语法解析、一次权限检查、一次执行计划生成,网络包也从 1000 个压成 1 个(只要不超过 max_allowed_packet)。

  • max_allowed_packet 默认 4MB,插 10 万行容易超限,需提前设为 64M 或更高
  • 主键冲突时整条语句失败,不如分批可控;可用 INSERT IGNORE 或 ON DUPLICATE KEY UPDATE 缓冲
  • 不要在存储过程里写 WHILE 循环逐条 INSERT——那是把客户端的低效逻辑搬进服务端,反而更慢

容易被忽略的底层卡点

即使代码层做了事务 + 多值合并,速度仍上不去?大概率卡在这些地方:

  • innodb_log_file_size 太小,导致大事务频繁 checkpoint,吞吐反降
  • 目标表有多个二级索引,但没在导入前 ALTER TABLE t DISABLE KEYS(MyISAM)或临时 DROP(InnoDB)
  • binlog 格式为 ROW,大事务生成巨量 binlog,压垮从库
  • 用了 Seata 等分布式事务框架,@GlobalTransactional 让批量插入退化成 RPC 串行处理

事务快的前提,是长度可控、上下文干净、周边配置没拖后腿。别只盯着 SQL 写法,得看全链路。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3983

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

851

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1029

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5841

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2763

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5820

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7721

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1050

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

912

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习