如何在MySQL 8.0中使用窗口函数进行数据去重?

云墨小哥_5443

云墨小哥_5443

2026-07-21

973人浏览

原创

row_number()是mysql 8.0+多字段去重核心,需用子查询规避error 1093;order by须明确方向及null处理,多条件优先级用case表达式实现;select仅查视图,delete才真正删数据。

如何在mysql 8.0中使用窗口函数进行数据去重?

ROW_NUMBER() 是去重的核心函数

MySQL 8.0+ 中真正可控的多字段去重,必须依赖 ROW_NUMBER() 窗口函数。它不靠模糊聚合,也不依赖主键大小硬性取舍,而是先按业务逻辑分组排序,再精确标记“该留哪一条”。DISTINCT 和 GROUP BY 在需要保留完整行、且有优先级规则时根本不够用——比如“同一用户只留最新订单”,DISTINCT 无法指定时间字段,“GROUP BY user_id + MAX(order_time)”又拿不到订单金额、地址等其他字段。

DELETE 去重前必须套两层子查询

直接在 DELETE 语句里写 ROW_NUMBER() 会报错:Error 1093: You can't specify target table 'users' for update in FROM clause。这是 MySQL 的限制,必须把窗口函数结果先放到派生表(子查询)里,再让外层 DELETE 引用。

  • 错误写法:DELETE FROM users WHERE id IN (SELECT id FROM users GROUP BY name, email ...) —— 这不是窗口函数,但同样违反限制
  • 正确结构:外层 DELETE → 中层 SELECT id FROM (...) t WHERE rn > 1 → 内层 SELECT id, ROW_NUMBER() OVER (PARTITION BY name, email ORDER BY id DESC) AS rn FROM users
  • 关键点:ORDER BY 必须明确方向,DESC 通常保留最新(最大 ID 或最新时间),ASC 则保留最旧

多条件优先级排序要靠 CASE 表达式

当“最新”不是唯一标准,比如要优先保留 status = 'active' 的记录,其次才是时间,就不能只写 ORDER BY created_at DESC。得把业务规则翻译成排序权重:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • ORDER BY CASE WHEN status = 'active' THEN 0 ELSE 1 END, created_at DESC:把 active 记录排最前,同状态内再按时间倒序
  • 避免写 ORDER BY status DESC:字符串比较不可靠,'pending' 可能比 'active' 排前面
  • 如果字段可能为 NULL,加 IS NULL 判断,否则 NULL 会被排在最前或最后,破坏预期顺序

查询时去重和删除时去重不能混用

很多人误以为 SELECT 里用了 ROW_NUMBER() 就等于数据已去重——其实只是临时视图。原表一条没少。真要删数据,必须走 DELETE 语句;只想查去重后结果,就用带 WHERE rn = 1 的子查询。两者语法结构相似,但意图和影响完全不同:

  • 查:用 SELECT * FROM (SELECT *, ROW_NUMBER() OVER (...) AS rn FROM t) t2 WHERE rn = 1
  • 删:用 DELETE FROM t WHERE id IN (SELECT id FROM (SELECT id, ROW_NUMBER() OVER (...) AS rn FROM t) t2 WHERE rn > 1)
  • 执行 DELETE 前务必备份,或先用 SELECT 版本验证哪些 ID 会被删

实际操作中最容易漏掉的是 ORDER BY 子句里的 NULL 处理和多条件权重设计——看起来只改几个字,但结果可能全错。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4063

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

871

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1049

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5941

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2843

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5920

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7901

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1070

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

932

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 181人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 289人学习