如何解决MySQL在大批量INSERT导入数据时由于索引维护引发的严重卡顿

老敏吖_4610

老敏吖_4610

2026-06-07

421人浏览

原创

大批量insert卡顿主因是索引维护——每行插入需更新主键b+树、所有二级索引及日志;索引越多耗时越非线性增长,3个二级索引即等效4次b+树写入;优先删除非必要索引、控制插入顺序、调优事务与日志配置、禁用唯一性检查(可信数据)、改用load data infile可显著提速。

如何解决mysql在大批量insert导入数据时由于索引维护引发的严重卡顿

索引维护是大批量INSERT卡顿的主因——每插一行,MySQL都要更新主键B+树、所有二级索引、写redo log和binlog。索引越多,耗时越非线性增长;若有3个二级索引,插入1行实际等于执行4次B+树写入操作。

优先禁用非必要索引(最直接有效)

对InnoDB表,ALTER TABLE ... DISABLE KEYS无效,但可手动移除非关键索引:

  • 导入前执行 DROP INDEX idx_unneeded ON table_name,只保留主键和业务强依赖的唯一索引
  • 导入完成立即重建:CREATE INDEX idx_unneeded ON table_name(col)
  • 避免在含唯一约束的字段上删索引,否则重复数据可能静默跳过或报错
  • 若表有5个以上二级索引,此操作常带来2–5倍提速

控制插入顺序,减少页分裂

无序主键(如UUID、倒序时间戳)会导致聚簇索引频繁页分裂,拖慢写入速度:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 确保 VALUES 中的主键值单调递增(例如按时间正序、自增ID自然顺序)
  • 避免 INSERT SELECT 时未加 ORDER BY —— 即使源表有序,执行计划也可能打乱顺序
  • 若无法调整数据顺序,可先导入到临时无主键表,再按主键排序后 INSERT INTO 目标表

配合事务与配置调优,放大索引优化效果

单靠删索引不够,需组合事务控制和日志策略:

  • 关闭自动提交:SET autocommit = 0,用 START TRANSACTION + COMMIT 包裹每批500–2000行
  • 临时降低日志刷盘压力:SET GLOBAL innodb_flush_log_at_trx_commit = 2(崩溃最多丢1秒数据)
  • 若不依赖binlog做恢复,可设 SET GLOBAL sync_binlog = 0;否则改用 sync_binlog = 1000 折中
  • 禁用唯一性检查加速(仅限可信数据):SET unique_checks = 0,导入完再设为1

替代方案:绕过SQL层,用LOAD DATA INFILE

当数据已存为CSV/TSV文件时,这是比任何INSERT优化都快的路径:

  • LOAD DATA INFILE 不走SQL解析器,直接写入引擎,比等量INSERT快5–20倍
  • 必须把文件放到 secure_file_priv 指定目录(查 SHOW VARIABLES LIKE 'secure_file_priv'
  • 导入前同样建议删掉非必要索引,导入后再建
  • 注意字段分隔符与行结束符匹配,否则会静默跳过错误行;先导出10行测试再全量执行

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

417

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

840

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2412

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

816

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

709

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

374

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2156

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

3972

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

647

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 171人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 274人学习