mysql如何给大表添加唯一索引_避免长事务锁表的创建策略

雨杰小哥_2045

雨杰小哥_2045

2026-04-25

959人浏览

原创

大表加唯一索引不必然锁表,但默认操作易因mdl锁、全量查重校验和重复数据报错而卡住;真正无锁需显式指定algorithm和lock,并彻底清理重复值。

mysql如何给大表添加唯一索引_避免长事务锁表的创建策略

大表加唯一索引不必然锁表,但默认 ALTER TABLE ... ADD UNIQUE KEY 在 MySQL 5.6+ 中仍可能引发短时 MDL 锁、阻塞 DML,尤其在有长事务或大查询时;真正“不锁表”需显式控制 ALGORITHM 和 LOCK,并提前清理重复数据。

为什么大表加唯一索引容易卡住或阻塞业务

不是因为“加索引本身要锁全表”,而是三个隐性瓶颈叠加:一是 Prepare/Commit 阶段需获取元数据锁(MDL),若此时有未提交事务或慢查询占着表,ALTER 会一直等待;二是唯一索引创建必须校验全量数据的唯一性,扫描主键索引 + 构建新索引的过程消耗 I/O 和 CPU,拖慢从库同步;三是遇到重复值时直接报错中断,无法跳过或提示哪几行冲突。

  • 典型错误现象:ERROR 1062 (23000): Duplicate entry 'xxx' for key 'uk_col',但没告诉你在哪条记录上
  • 实际锁表现象常表现为:SHOW PROCESSLIST 中看到 alter table 状态卡在 Waiting for table metadata lock
  • 影响范围不限于写入——MDL 锁会阻塞后续所有对该表的 SELECT(哪怕只是简单查询),只要它需要获取读锁

必须做的前置检查:查重 & 清理

唯一索引创建失败几乎都源于已有重复数据。MySQL 不会自动帮你去重,也不会跳过,更不会合并。这步漏掉,后面所有优化都白搭。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 先定位重复项:SELECT col, COUNT(*) FROM my_table GROUP BY col HAVING COUNT(*) > 1;
  • 确认是否允许 NULL:多个 NULL 值在唯一索引中是合法的(InnoDB 行为),但业务上是否合理需人工判断
  • 清理策略示例(保留最大 id 的那条):DELETE t1 FROM my_table t1 INNER JOIN my_table t2 WHERE t1.id
  • 执行前务必在从库或备份库验证逻辑,避免误删

用 ONLINE DDL 实现近似无锁添加

MySQL 原生支持,无需第三方工具,但必须显式指定参数,否则可能退化为 COPY 模式(即锁表重建)。

  • 强制使用原地算法:ALGORITHM=INPLACE —— 避免创建临时表
  • 要求零锁:LOCK=NONE —— 允许并发读写(注意:仅对 DML 有效,DDL 自身仍需极短 MDL)
  • 完整语句示例:ALTER TABLE my_table ADD UNIQUE KEY uk_email (email), ALGORITHM=INPLACE, LOCK=NONE;
  • 失败常见原因:表含外键、使用 MyISAM 引擎、列类型不支持在线变更(如 TEXT 列参与唯一索引)、存在长事务未释放 MDL

超大表(>1亿行)或高可用要求场景:用 gh-ost 替代

当 Online DDL 的 Row Log 回放阶段拖太久、或从库延迟已敏感时,gh-ost 是更可控的选择——它不依赖 MySQL 内部机制,而是通过 binlog 解析做增量同步,且支持 hook 中断。

  • 优势在于:全程不锁原表,DML 完全不受影响;可通过 --hooks-path 注入脚本,在检测到重复插入时主动退出
  • 劣势:不校验全量唯一性(INSERT IGNORE 全量导入),所以**必须确保前置查重已 100% 干净**,否则静默丢数据
  • 启动命令关键参数:gh-ost --host=... --database=my_db --table=my_table --alter="ADD UNIQUE KEY uk_col(col)" --assume-rbr --allow-on-master --initially-drop-ghost-table --execute
  • 切表前建议先跑一次 --dry-run,观察日志中 Estimated rows 和 Throttle metrics 是否稳定

真正麻烦的从来不是语法,而是“以为加了 LOCK=NONE 就万事大吉”,结果被一个没注意到的长事务卡住两小时;或者用 gh-ost 时忘了清重,上线后发现部分用户邮箱莫名丢失。这些点没法靠文档自动提醒,得在执行前盯着 INFORMATION_SCHEMA.INNODB_TRX 和 SHOW PROCESSLIST 多看两眼。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4063

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

851

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1049

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5921

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2843

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5900

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7881

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1070

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

932

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 180人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 287人学习