SQL如何快速找出重复数据并编号 ROW_NUMBER去重技巧

酷伟酱_9320

酷伟酱_9320

2026-04-13

239人浏览

原创

ROW_NUMBER() 仅编号不自动去重,须配合子查询或CTE筛选rn=1或rn>1;核心是PARTITION BY指定重复判定字段,ORDER BY控制组内排序;误用ORDER BY全表编号将无法识别重复。

sql如何快速找出重复数据并编号 row_number去重技巧

用 ROW_NUMBER() 给重复行打序号,再筛出重复组

直接结论:不能靠 ROW_NUMBER() 自己“去重”,它只编号;真正去重要配合子查询或 CTE,把编号为 1(或 >1)的行挑出来。核心是先定义“按哪些字段判重复”,再用 PARTITION BY 分组编号。

常见错误是写成 ROW_NUMBER() OVER (ORDER BY col) —— 这会全表编号,根本没分组,看不出谁和谁重复。

  • 必须用 PARTITION BY col1, col2 指定重复判定字段(比如 email、user_id, order_date)
  • ORDER BY 在括号内只控制组内排序逻辑,常用 id 或 created_at 确保稳定(避免每次执行结果不同)
  • 编号从 1 开始,每组独立计数,所以重复数据必然有 rn = 1 和 rn > 1 的行

查出所有重复记录(含编号),方便人工核对

这是最常被跳过的一步:不先看清楚重复长什么样,就急着删,容易误伤。用 CTE 把编号结果拎出来,再加个 COUNT(*) OVER (PARTITION BY ...) 能直接看到每组几条。

WITH duped AS (
  SELECT *,
         ROW_NUMBER() OVER (PARTITION BY email ORDER BY id) AS rn,
         COUNT(*) OVER (PARTITION BY email) AS cnt
  FROM users
)
SELECT * FROM duped WHERE cnt > 1;

注意:cnt > 1 是筛选“属于重复组”的所有行;rn = 1 才是每组保留的那条。别混淆这两个条件。

保留每组第一条,删掉其余重复行(安全删除写法)

直接 DELETE 风险高,务必先备份或在事务里试。关键是让数据库知道“哪些行该删”——靠子查询关联原表主键,而不是用 ROW_NUMBER() 结果直接删(某些数据库不支持)。

  • PostgreSQL / SQL Server / Oracle 支持 DELETE ... USING 或 DELETE FROM ... WHERE id IN (SELECT ...)
  • MySQL 8.0+ 可用 CTE + DELETE,但老版本需用临时表或自连接
  • 示例(通用写法):
    DELETE FROM users 
    WHERE id NOT IN (
      SELECT MIN(id) 
      FROM users 
      GROUP BY email
    );
    这比 ROW_NUMBER() 更简洁,但无法控制“保留哪一条”(只能靠 MIN/MAX)

ROW_NUMBER() 和 DENSE_RANK() 在去重场景的区别

有人试过 DENSE_RANK() 替代,结果发现编号没用——因为去重逻辑依赖的是“组内唯一序号是否大于 1”,而 DENSE_RANK() 对相同值给相同排名,无法区分同组内的不同行。

  • ROW_NUMBER():组内严格 1, 2, 3… → 可精准定位“第 1 条”和“非第 1 条”
  • RANK() 或 DENSE_RANK():遇到相同 ORDER BY 值会并列,比如 1, 1, 3 或 1, 1, 2 → 无法用 rn = 1 安全保留唯一行
  • 性能上无明显差异,但语义清晰度差很多,别图省事换函数

真正麻烦的不是写法,而是“重复”的定义本身是否合理——比如忽略空格、大小写、时区偏移的邮箱算不算重复?这些得在 PARTITION BY 之前用 TRIM(LOWER(email)) 处理,否则编号分组就错了。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4523

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

931

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1189

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6481

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3263

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6440

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

8841

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1190

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1052

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134万人学习