如何在MySQL 8.0中批量插入百万级数据不锁表

云强小哥_8655

云强小哥_8655

2026-10-04

925人浏览

原创

mysql 8.0“不锁表”本质是避免全表扫描、间隙锁扩散和长事务,load data local infile因绕过sql解析层、不触发约束/触发器、使用专用load event,成为最接近不锁表的方案;分批insert需控制事务粒度、禁用非必要索引、避免on duplicate key等加间隙锁操作。

如何在mysql 8.0中批量插入百万级数据不锁表

能,但“不锁表”不是靠关开关实现的,而是靠控制事务粒度、避开索引争用、绕过SQL解析层来达成。MySQL 8.0 的 InnoDB 默认行级锁,只要不扫全表、不触发间隙锁扩散、不长时间持有大事务,就不会实质阻塞其他读写。

用 LOAD DATA LOCAL INFILE 绕过 SQL 层最稳

这是唯一真正接近“不锁表”的方案:它不走查询解析器,不生成普通 binlog event(用的是专用 LOAD event),不逐行触发约束检查或触发器,对在线业务影响最小。

  • 客户端必须启用 PDO::MYSQL_ATTR_LOCAL_INFILE => true(PHP)或 allowLoadLocalInfile=true(JDBC)
  • 服务端要确认 local_infile=ON(SHOW VARIABLES LIKE 'local_infile')
  • CSV 文件字段必须严格匹配:比如含逗号就得用 ENCLOSED BY '"',换行符得是 LINES TERMINATED BY ' '
  • 目标表不能有 BEFORE/AFTER INSERT 触发器——LOAD DATA 会跳过它们,这不是 bug 是设计
  • 文件路径是客户端本地路径,Windows 下用 C:/data.csv 或 C:\data.csv,别用单反斜杠

分批 INSERT VALUES + 显式事务,控制锁范围

如果数据在内存里、没法落盘成文件,就只能走 SQL 路线。关键不是“插多少”,而是“每次提交多大”,否则事务一开几万秒,别的连接等锁等到超时。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 单次 INSERT 最多拼 1000–2000 行,字段越长行数越要往下压(受 max_allowed_packet 限制)
  • 必须显式写 START TRANSACTION 和 COMMIT,别依赖 autocommit=0 —— 某些 ORM 会悄悄重置它
  • 每插入 5000 行左右 COMMIT 一次,避免 undo log 膨胀引发 ERROR 1205 (HY000): Deadlock found
  • 插入前执行 ALTER TABLE t DISABLE KEYS(仅 MyISAM 有效);InnoDB 没这指令,但可删掉非必要二级索引,插完再建
  • 别用 INSERT IGNORE 或 ON DUPLICATE KEY UPDATE——唯一键检查会加 GAP 锁,放大锁范围

存储过程循环插入?现实里基本等于自锁

哪怕你写了 START TRANSACTION 包住整个 WHILE,MySQL 8.0 仍会在每次 INSERT 后隐式刷新日志、更新索引 B+ 树页、检查外键——这不是“一个事务”,而是“一个事务里套 N 个微型事务”。实测 10 万条简单 int 字段也要 90 秒以上,且期间 SELECT ... FOR UPDATE 容易被堵住。

  • 只适合造极简测试码(比如纯 ID + 随机字符串),总量别超 1 万
  • 如果真要用,必须关掉 autocommit:SET autocommit = 0,否则 COMMIT 在存储过程里无效
  • DISABLE KEYS 对 InnoDB 无效,别白费劲;想提速,不如先把 UNIQUE 索引干掉
  • 别信“加了事务就快”——没禁用索引、没分批、没调 innodb_flush_log_at_trx_commit,速度照样断崖下跌

最容易被忽略的一点:锁表现象常不在插入语句本身,而在后续的 SELECT 或 UPDATE 上。比如你刚插完百万行,立刻跑 SELECT COUNT(*),InnoDB 得扫聚簇索引,这时别的写操作反而卡在插入的间隙锁上。所以“不锁表”的完整理解,是插入期间不影响其他连接的常规读写,而不是插入动作本身完全无感知。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql mysql 8.0

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3963

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

851

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1029

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5821

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2743

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5800

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7701

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1050

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

912

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 178人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 283人学习