如何在MySQL中实现高性能的批量Upsert操作_合并多个VALUES子句

酷静大大_8279

酷静大大_8279

2026-05-10

690人浏览

原创

on duplicate key update必须依赖主键或唯一索引才能触发,否则退化为普通插入;需确保表中明确定义unique key或primary key,且values()严格绑定对应行字段值。

如何在mysql中实现高性能的批量upsert操作_合并多个values子句

MySQL批量Upsert必须依赖唯一约束才能触发ON DUPLICATE KEY

没有主键或唯一索引的表,INSERT ... ON DUPLICATE KEY UPDATE 会直接忽略冲突逻辑,变成普通插入——哪怕你写了ON DUPLICATE KEY UPDATE,也不会报错,但更新分支永远不执行。这是最常被忽略的前提。

常见错误是只加了普通索引(非UNIQUE)或误以为PRIMARY KEY自动覆盖所有字段。实际只要检查SHOW CREATE TABLE table_name输出里是否有UNIQUE KEY或PRIMARY KEY定义在你要匹配的列上即可。

  • 单字段唯一:比如username设为UNIQUE,那用username值冲突才会触发UPDATE
  • 组合唯一:如(user_id, action_type)需提前建UNIQUE KEY idx_user_action (user_id, action_type)
  • NULL值注意:唯一索引允许多行NULL,所以ON DUPLICATE KEY对NULL不生效,别拿它当“空值去重”用

VALUES子句必须合并成一条INSERT,不能拆成多条

MySQL的ON DUPLICATE KEY UPDATE只对**单条INSERT语句**生效。如果你把100条数据写成100个独立INSERT,就退化成100次单独判断+可能100次锁等待,性能断崖式下跌。

正确做法是用一个INSERT带多个VALUES元组,例如:

INSERT INTO users (id, name, email) VALUES
(1, 'Alice', 'a@example.com'),
(2, 'Bob', 'b@example.com'),
(3, 'Charlie', 'c@example.com')
ON DUPLICATE KEY UPDATE
  name = VALUES(name),
  email = VALUES(email);

这里VALUES(name)不是函数调用,而是MySQL内部语法糖,表示“本次VALUES列表中对应位置的name值”。它和VALUES子句严格位置绑定,不能跨行引用。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 字段顺序必须完全一致,否则VALUES(col)会取错值
  • 每批建议≤500行:太长的SQL可能触发max_allowed_packet或解析超时
  • 避免在VALUES里混用NULL和DEFAULT,显式写出更可控

MyBatis动态拼接时,VALUES括号不能漏、不能多嵌套

MyBatis的<foreach></foreach>容易在生成SQL时多加一层括号,导致语法错误。典型错误写法:VALUES (<foreach>(...)</foreach>),结果变成VALUES ((...), (...))——外层多了一对括号,MySQL直接报错ERROR 1064。

正确模板是让<foreach></foreach>直接生成逗号分隔的元组,外面不额外包括号:

<insert id="batchUpsert" parametertype="list">
  INSERT INTO user_info (id, name, email) VALUES
  <foreach collection="list" item="item" separator=",">
    (#{item.id}, #{item.name}, #{item.email})
  </foreach>
  ON DUPLICATE KEY UPDATE
    name = VALUES(name),
    email = VALUES(email)
</insert>
  • separator=","必须存在,否则生成的SQL缺逗号
  • 不要在<foreach></foreach>外再写VALUES或(,MyBatis会原样输出
  • 如果字段含NULL,确保Java对象字段为null而非空字符串,否则#{item.xxx}会生成''而非NULL

并发写入时,ON DUPLICATE KEY本身是原子的,但要注意事务边界

INSERT ... ON DUPLICATE KEY UPDATE整条语句在MySQL内是原子执行的,不会出现“查到不存在→准备插入→被别人插进去了→自己再插失败”的竞态。这点比先SELECT再INSERT/UPDATE可靠得多。

但批量操作仍需包裹在事务中,原因有两个:

  • 如果某一批次里部分行因违反其他约束(如CHECK、FOREIGN KEY)失败,整个语句会回滚,避免脏数据
  • 高并发下,多个线程同时执行同一批id的Upsert,虽然每条语句原子,但不同语句之间仍可能互相阻塞,需靠事务隔离级别控制可见性
  • MyBatis中务必配@Transactional或手动SqlSession管理,别依赖默认自动提交

真正容易被绕过的点是:你以为ON DUPLICATE KEY能兜住所有冲突,但它只响应唯一约束冲突;如果业务上还有逻辑校验(比如“余额不能为负”),得在应用层或触发器里补全,它不负责。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4363

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

911

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1129

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6281

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3123

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6260

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

8501

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1150

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1012

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 188人学习