mysql UNION ALL和UNION区别是什么_mysql集合去重原理

阿瑶酱_4890

阿瑶酱_4890

2026-01-18

1082人浏览

原创

UNION自动去重并默认按第一列升序排序,UNION ALL仅拼接不处理重复;前者底层先拼接再建临时表排序去重,性能远低于后者,适用需保唯一性场景,后者适用于已知无重复或后续自行处理的场景。

mysql union all和union区别是什么_mysql集合去重原理

UNION 会自动去重+排序,UNION ALL 只是拼接

这是最核心的区别:如果你执行 SELECT name FROM t1 UNION SELECT name FROM t2,MySQL 会把两个结果合并后,用类似 DISTINCT 的方式筛掉重复行,并**默认按第一列升序排序**;而 UNION ALL 就是“原样倒进去、不检查、不整理”,哪怕两表完全一样,结果里也会出现两遍相同记录。

常见错误现象:

  • 用 UNION 合并日志表时,发现时间顺序乱了——其实是它悄悄给你排了序(按第一列,不是按时间字段)
  • 用 UNION ALL 查出大量重复数据,误以为 SQL 写错了,其实是业务本就允许/存在重复
  • 没加 ORDER BY 却看到有序结果,其实是 UNION 的隐式排序在起作用

UNION 去重不是靠哈希,而是靠临时表 + 排序

MySQL 并不直接对两组结果做哈希比对去重。它的实际执行逻辑更接近:

SELECT DISTINCT * FROM (
  SELECT * FROM t1
  UNION ALL
  SELECT * FROM t2
) AS combined

也就是说,UNION 底层先走一遍 UNION ALL 拼出全量中间集,再建临时表、排序、逐行比较去重。这也是为什么 EXPLAIN 看到 Using temporary; Using filesort —— 它真正在磁盘或内存里干了排序和去重的活。

性能影响很实在:

  • 数据量过 10 万行,UNION 耗时通常是 UNION ALL 的 7–11 倍(实测数据见知识库)
  • 如果字段没索引,排序阶段容易触发磁盘临时表(tmp_table_size 不够时)
  • UNION 会破坏原始查询的索引优势,比如 ORDER BY id 在子查询里写了,外层 UNION 仍可能重排

什么时候必须用 UNION?什么时候死磕 UNION ALL?

别凭感觉选,看场景和数据特征:

Exa JS Web Search SDK 用于 AI 应用程序
Exa JS Web Search SDK 用于 AI 应用程序

exa-js 是 Exa 官方 JavaScript 软件开发工具包,Exa 是一个为 AI 工作流构建的网络搜索 API。它为代理提供了一种具体的方式来搜索网络、检索页面内容,并从代码中生成有来源的答案,而不是手动拼接原始 HTTP 调用。

下载

✅ 必须用 UNION 的情况:

  • 多源客户表合并(CRM + ERP + 导入Excel),ID 或手机号可能重复,需保唯一性
  • 统计口径不同但维度要统一(如 SELECT 'daily', cnt FROM d1 UNION SELECT 'weekly', cnt FROM w1),值本身可能撞车,得去重防歧义

✅ 优先用 UNION ALL 的情况:

  • 分表/分库日志查询:SELECT * FROM log_202401 UNION ALL SELECT * FROM log_202402,天然按时间分片,无重复
  • CTE 中间聚合前拼接:WITH raw AS (SELECT id FROM a UNION ALL SELECT id FROM b) SELECT id, COUNT(*) ...,后续自己控制去重逻辑
  • 明确知道两结果集主键/联合唯一(如 user_id 来自不同业务库,全局唯一)

ORDER BY 和列名对齐是硬约束,不是可选项

无论用哪个,都必须保证:所有 SELECT 子句返回的列数、类型兼容性、顺序一致。否则直接报错:

ERROR 1222 (21000): The used SELECT statements have a different number of columns

另外,ORDER BY 只能写在最后一条 SELECT 之后,且只能引用最终结果集的列名或位置(如 ORDER BY 1),不能在每个子句里单独写。

容易被忽略的一点:如果某列是 TEXT 或 JSON 类型,UNION 去重时可能因长度截断或 collation 差异导致“看似相同实则不同”,造成去重失效——这时宁可显式转成 SUBSTR(col, 1, 1000) 再 union,也别依赖默认行为。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql excel js json

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

5183

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

1051

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1369

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

7301

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3903

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

7280

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

10241

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1390

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1212

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程