MySQL中如何使用DISTINCT关键字对多列数据进行去重?

大雪姑娘_6959

大雪姑娘_6959

2026-07-19

929人浏览

原创

distinct是对整行去重而非单列去重,其作用范围是所有选定字段的组合;若需按某列逻辑去重并取对应行,应使用group by配合聚合函数或窗口函数。

mysql中如何使用distinct关键字对多列数据进行去重?

SELECT DISTINCT col1, col2 是联合去重,不是分别去重

很多人写 SELECT DISTINCT code, cdate, ctotal FROM tt 时,以为“code 去重了,cdate 和 ctotal 就自动跟着选一条”,其实不是。MySQL 对整行判断:只有 code、cdate、ctotal 三者组合完全一致,才算重复。只要其中任意一列不同,就保留整行。

常见错误现象:

  • 表里有两行 (A, '2026-01-01', 100) 和 (A, '2026-01-02', 200),SELECT DISTINCT code, cdate, ctotal 会返回两行 —— 因为组合不同
  • 误写成 SELECT cdate, ctotal, DISTINCT code,直接报错:SQL error [1064]: You have an error in your SQL syntax...

正确姿势只有一种:DISTINCT 必须放在所有字段最前面,且不能加括号(SELECT DISTINCT(name) 是无效语法,只是碰巧不报错,但语义和 SELECT DISTINCT name 完全一样)。

想按某列“逻辑去重”并带出其他字段?DISTINCT 不行,得换方案

比如你真正想要的是:“每个 code 只取一条,顺便带上它对应的 cdate 和 ctotal”。这已经超出 DISTINCT 的能力范围 —— 它不承诺留哪条,也不支持指定优先级。

这时有三个可行路径:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 用 GROUP BY code + 聚合函数,例如 SELECT code, MAX(cdate), ANY_VALUE(ctotal) FROM tt GROUP BY code(ANY_VALUE() 是 MySQL 5.7+ 提供的明确语义,替代模糊的非聚合列引用)
  • 关闭 only_full_group_by 模式后写 SELECT code, cdate, ctotal FROM tt GROUP BY code,但结果不可控(MySQL 不保证返回哪一行)
  • MySQL 8.0+ 推荐用窗口函数:SELECT code, cdate, ctotal FROM (SELECT *, ROW_NUMBER() OVER (PARTITION BY code ORDER BY id DESC) rn FROM tt) t WHERE rn = 1,可精确控制留最新/最小/最大那条

DISTINCT 多列查询性能差?先看执行计划,再建索引

EXPLAIN SELECT DISTINCT col1, col2 FROM t 如果出现 Using temporary,说明 MySQL 正在内存或磁盘建临时表去重,数据量一大就慢。

优化关键点:

  • 给 (col1, col2) 建联合索引:CREATE INDEX idx_col1_col2 ON t(col1, col2),能显著减少临时表使用
  • 如果查询还包含其他字段(如 SELECT DISTINCT col1, col2, col3),索引必须覆盖全部列,否则仍需回表
  • 别在 TEXT 或超长 VARCHAR 字段上用 DISTINCT —— 索引失效,还可能触发磁盘临时表

COUNT(DISTINCT col) 和 SELECT DISTINCT col 的用途完全不同

这是最容易混淆的一对操作:

  • COUNT(DISTINCT login_date) 返回一个数字:用户一共登录了多少天
  • SELECT DISTINCT login_date 返回多行数据:列出所有登录过的日期(具体值)
  • COUNT(DISTINCT ...) 会忽略 NULL;而 SELECT DISTINCT col 中所有 NULL 被视为相同,只返回一行 NULL

如果你只需要数量,别写 SELECT DISTINCT 再用程序计数 —— COUNT(DISTINCT) 是数据库层直接算好返回的,更快更省网络开销。

真正难的从来不是语法,而是搞清自己到底要“取唯一值”还是“按某字段归并选一条”。前者用 DISTINCT,后者就得跳出这个关键字想方案。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4103

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

871

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1069

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5981

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2883

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5960

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7961

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1090

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

952

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 182人学习