如何在SQL中利用ROW_NUMBER()函数高效删除表中的重复数据?

浅婷君_2950

浅婷君_2950

2026-06-28

555人浏览

原创

row_number()通过partition by分组、order by排序为每组行分配1、2、3…序号,序号>1的即冗余行;必须用cte或子查询包裹后关联删除,不可直接在where中使用,且需注意null处理、索引优化与事务安全。

如何在sql中利用row_number()函数高效删除表中的重复数据?

ROW_NUMBER() 怎么给重复行打序号?

关键不是直接删,而是先用 ROW_NUMBER() 标出哪些是“该留的”、哪些是“该删的”。它按指定字段分组(PARTITION BY),再在每组内按某列排序(ORDER BY),给每行分配 1、2、3… 这样的序号。重复数据会被分到同一组,序号 >1 的就是冗余行。

常见错误是 ORDER BY 选错列:比如用时间戳排序能保留最新一条,用主键排序可能留最老的;如果排序列有 NULL,不同数据库行为不一致(PostgreSQL 允许 ORDER BY col NULLS LAST,MySQL 8.0+ 才支持类似写法)。

  • 必须搭配 PARTITION BY —— 否则整表只有一组,所有行序号都是 1
  • ORDER BY 列建议选有业务意义的字段(如 created_at 或 id),避免用无序字段如 updated_at(可能全相同)
  • 不能在 DELETE 语句里直接嵌套 ROW_NUMBER()(MySQL 5.7 及更早版本会报错 “This is not allowed in stored function or trigger”)

DELETE 时怎么安全引用 ROW_NUMBER() 结果?

不能写 DELETE FROM t WHERE ROW_NUMBER() OVER (...) > 1 —— SQL 标准不允许在 WHERE 中用窗口函数。得把带序号的结果当临时表用,再关联删除。

推荐写法是用 CTE(Common Table Expression)或子查询包裹 ROW_NUMBER(),再对序号 >1 的行执行 DELETE。注意:CTE 在 PostgreSQL/SQL Server/MySQL 8.0+ 中可用,但 SQLite 和旧版 MySQL 不支持。

AgentPolis
AgentPolis

AgentPolis是专为AI Agent打造的交易、社交、协作平台。

下载
  • MySQL 8.0+ 示例:
    WITH ranked AS (
      SELECT id, ROW_NUMBER() OVER (PARTITION BY email ORDER BY created_at DESC) rn
      FROM users
    )
    DELETE u FROM users u
    INNER JOIN ranked r ON u.id = r.id
    WHERE r.rn > 1;
  • PostgreSQL 写法更简洁:
    DELETE FROM users
    WHERE id IN (
      SELECT id FROM (
        SELECT id, ROW_NUMBER() OVER (PARTITION BY email ORDER BY created_at DESC) rn
        FROM users
      ) t WHERE rn > 1
    );
  • 务必提前备份或在事务中执行:BEGIN; ... ROLLBACK;,尤其当表无主键或 PARTITION BY 字段有大量 NULL 时,容易误删

为什么不能只靠 GROUP BY + MIN/MAX ID 删除?

用 GROUP BY 找最小/最大 ID 再删其余行,看似简单,但实际漏掉两类情况:一是重复行所有字段完全一致(包括主键以外的字段),此时 GROUP BY 没法区分哪条该留;二是想保留“最新”而非“最早”的记录,MIN(id) 未必对应最新时间 —— ID 和时间可能不一致。

  • ROW_NUMBER() 能精确控制保留逻辑(比如 ORDER BY updated_at DESC 留最新)
  • 当重复依据是多列(如 PARTITION BY name, phone, address)时,GROUP BY 语句变长易出错,而 ROW_NUMBER() 语法不变
  • 某些场景下,GROUP BY 删除需要两次扫描(一次找基准 ID,一次删),而 CTE + ROW_NUMBER() 通常只需一次排序

性能和索引怎么配合?

ROW_NUMBER() 的开销主要在排序 —— 如果 PARTITION BY 和 ORDER BY 字段没索引,大表上会很慢,甚至触发磁盘临时表。

  • 最优索引形如:CREATE INDEX idx_dup_check ON users (email, created_at DESC);(把 PARTITION BY 列放前面,ORDER BY 列放后面)
  • 如果重复率极高(比如 90% 行都重复),先用 SELECT COUNT(*) 和 COUNT(DISTINCT ...) 估算比例,考虑是否值得删 —— 有时重建表更快
  • 在从库或低峰期执行,避免锁表时间过长;InnoDB 行锁一般够用,但 DELETE ... JOIN 在 MySQL 中可能升级为间隙锁

真正麻烦的是 PARTITION BY 字段存在大量 NULL —— 多数数据库把 NULL 视为相同值,导致本不该归一组的行被强行合并。遇到这种情况,得先用 COALESCE(email, CONCAT('null_', id)) 之类方式“隔离” NULL 值,否则删得不对。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3843

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

831

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

989

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5661

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2603

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5640

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7401

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1010

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

892

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.3万人学习