搜索
首页数据库mysql教程认识mysql insert into ... select的锁问题

mysql教程栏目介绍认识mysql insert into ... select的锁问题。

认识mysql insert into ... select的锁问题

引语:

最近中遇到一个数据库死锁的问题,这里记录一下解决的过程。

问题产生:

系统中mysql里面有几个event,每几分钟就会执行一次,用来统计数据之类的功能,然后这个event里面会往一张表里面写入数据。 大致内容: replace into a from select 需要的字段 from b; 大体结构是这样,select 需要的字段from b这里是简写,实际上非常复杂,有很多表的join的操作。然后这个event是每一分钟就执行一次,在数据量很大的情况下 一分钟可能还执行不完。然后我们会有其他的各种插入,更新的操作去对b表进行操作。此时就会发现,后端日志里面经常会有deadlock和wait lock timeout的报错, 最后测试发现把event关掉就没有这个问题,基本确认是这个event的问题。

问题分析:

其实最耗时的是发现是event的问题,查询资料解决问题并没有花太多时间。 1.首先根据后端日志里面的报错信息定位到是哪张表产生了死锁,是哪张表等待锁超时
2.然后根据这几个表名和打印的sql找到了大概可能是哪里的问题,大致确认了是event中的sql导致的
3.再验证我们的想法,把event关掉后发现日志就没有lock的问题了
4.检查event中的语句发现大概就是replace into a from select 需要的字段 from b;

这里主要是不太清楚mysql哪些情况会上锁,理论上select的操作只会上一个共享锁,对于b表的插入和更新等操作是上排他锁, 这两个是可以兼容的,一个读一个写,并不冲突。但是根据等到所超时的现象上来看,就像是select 需要的字段 from b把b表也给锁住了, 所以插入和更新都在等待锁。

最后在Stack Overflow中找到了有一点眉目的信息,链接地址。 这里说要设置成read-committed的级别就可以了。然后也引出了一个mysql配置参数:innodb_locks_unsafe_for_binlog。

于是我们顺着这个信息从官网上去查看,发现有这么一段话:

INSERT INTO T SELECT ... FROM S WHERE ... sets an exclusive index record lock (without a gap lock) on each row inserted into T. If the transaction isolation level is READ COMMITTED, or innodb_locks_unsafe_for_binlog is enabled and the transaction isolation level is not SERIALIZABLE, InnoDB does the search on S as a consistent read (no locks). Otherwise, InnoDB sets shared next-key locks on rows from S. InnoDB has to set locks in the latter case: During roll-forward recovery using a statement-based binary log, every SQL statement must be executed in exactly the same way it was done originally.复制代码

意思是说对于INSERT INTO T SELECT ... FROM S WHERE ...这种情况首先T表上会家伙是哪个记录锁(行级锁),并且是不带间隙锁的。 对于表S,有两种情况下不会加锁:
1.如果事务隔离级别为READ COMMITTED
2.或者启用了innodb_locks_unsafe_for_binlog且事务隔离级别不是SERIALIZABLE的

否则,InnoDB在S的行上设置共享的next-key。如果不清楚next-key的话可以看下官网的这个介绍,链接地址。

因此我们要解决所等待超时的方式已经比较明朗了,就是让S表不要被锁住,然而不要被锁住可以使用官网说的两种方式。 这两种都可以,但是根据innodb_locks_unsafe_for_binlog这个参数的介绍来看最好是使用方式1,将事务的隔离级别设置为read-committed。

原因有下面几点:
1.是innodb_locks_unsafe_for_binlog这个参数是静态的,必须要在my.cnf中加入一行innodb_locks_unsafe_for_binlog = 1,然后重启数据库才能生效。 在mysql中输入命令:

show variables like "%innodb_locks_unsafe_for_binlog%"复制代码

如果发现是ON就是开启成功了。
2.事务的隔离级别粒度比较细,可以针对某个session来设置,不同的session可以用不同的隔离级别,而且这个参数是动态的直接在mysql命令行修改就行。
3.mysql5.7的参数介绍中说,innodb_locks_unsafe_for_binlog这个参数将在后面的mysql版本中废弃掉。这个说的是实话,我去查看了mysql8.0的参数详解发现已经没有这个参数了。

所以推荐使用事务隔离级别来控制。

更多相关免费学习推荐:mysql教程(视频)

以上是认识mysql insert into ... select的锁问题的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:juejin。如有侵权,请联系admin@php.cn删除
您如何处理MySQL中的数据库升级?您如何处理MySQL中的数据库升级?Apr 30, 2025 am 12:28 AM

MySQL数据库升级的步骤包括:1.备份数据库,2.停止当前MySQL服务,3.安装新版本MySQL,4.启动新版本MySQL服务,5.恢复数据库。升级过程需注意兼容性问题,并可使用高级工具如PerconaToolkit进行测试和优化。

您可以使用MySQL的不同备份策略是什么?您可以使用MySQL的不同备份策略是什么?Apr 30, 2025 am 12:28 AM

MySQL备份策略包括逻辑备份、物理备份、增量备份、基于复制的备份和云备份。1.逻辑备份使用mysqldump导出数据库结构和数据,适合小型数据库和版本迁移。2.物理备份通过复制数据文件,速度快且全面,但需数据库一致性。3.增量备份利用二进制日志记录变化,适用于大型数据库。4.基于复制的备份通过从服务器备份,减少对生产系统的影响。5.云备份如AmazonRDS提供自动化解决方案,但成本和控制需考虑。选择策略时应考虑数据库大小、停机容忍度、恢复时间和恢复点目标。

什么是mySQL聚类?什么是mySQL聚类?Apr 30, 2025 am 12:28 AM

MySQLclusteringenhancesdatabaserobustnessandscalabilitybydistributingdataacrossmultiplenodes.ItusestheNDBenginefordatareplicationandfaulttolerance,ensuringhighavailability.Setupinvolvesconfiguringmanagement,data,andSQLnodes,withcarefulmonitoringandpe

如何优化数据库架构设计以在MySQL中的性能?如何优化数据库架构设计以在MySQL中的性能?Apr 30, 2025 am 12:27 AM

在MySQL中优化数据库模式设计可通过以下步骤提升性能:1.索引优化:在常用查询列上创建索引,平衡查询和插入更新的开销。2.表结构优化:通过规范化或反规范化减少数据冗余,提高访问效率。3.数据类型选择:使用合适的数据类型,如INT替代VARCHAR,减少存储空间。4.分区和分表:对于大数据量,使用分区和分表分散数据,提升查询和维护效率。

您如何优化MySQL性能?您如何优化MySQL性能?Apr 30, 2025 am 12:26 AM

tooptimizemysqlperformance,lofterTheSeSteps:1)inasemproperIndexingTospeedUpqueries,2)使用ExplaintplaintoAnalyzeandoptimizequeryPerformance,3)ActiveServerConfigurationStersLikeTlikeTlikeTlikeIkeLikeIkeIkeLikeIkeLikeIkeLikeIkeLikeNodb_buffer_pool_sizizeandmax_connections,4)

如何使用MySQL的函数进行数据处理和计算如何使用MySQL的函数进行数据处理和计算Apr 29, 2025 pm 04:21 PM

MySQL函数可用于数据处理和计算。1.基本用法包括字符串处理、日期计算和数学运算。2.高级用法涉及结合多个函数实现复杂操作。3.性能优化需避免在WHERE子句中使用函数,并使用GROUPBY和临时表。

MySQL批量插入数据的高效方法MySQL批量插入数据的高效方法Apr 29, 2025 pm 04:18 PM

MySQL批量插入数据的高效方法包括:1.使用INSERTINTO...VALUES语法,2.利用LOADDATAINFILE命令,3.使用事务处理,4.调整批量大小,5.禁用索引,6.使用INSERTIGNORE或INSERT...ONDUPLICATEKEYUPDATE,这些方法能显着提升数据库操作效率。

给MySQL表添加和删除字段的操作步骤给MySQL表添加和删除字段的操作步骤Apr 29, 2025 pm 04:15 PM

在MySQL中,添加字段使用ALTERTABLEtable_nameADDCOLUMNnew_columnVARCHAR(255)AFTERexisting_column,删除字段使用ALTERTABLEtable_nameDROPCOLUMNcolumn_to_drop。添加字段时,需指定位置以优化查询性能和数据结构;删除字段前需确认操作不可逆;使用在线DDL、备份数据、测试环境和低负载时间段修改表结构是性能优化和最佳实践。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

螳螂BT

螳螂BT

Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境