在MySQL中如何查询并删除表中的完全重复数据

老丽大大_2528

老丽大大_2528

2026-10-08

507人浏览

原创

用group by+having查完全重复行需将所有字段(含主键)纳入group by,再用having count(*)>1筛选;但该法仅返回分组摘要,不包含id等原始信息,无法直接删除,须配合窗口函数或自连接定位具体行。

在mysql中如何查询并删除表中的完全重复数据

用 GROUP BY + HAVING 找出重复行

直接查出哪些数据完全重复,核心是把所有字段当分组依据,再统计每组出现次数。注意:所有字段都得写进 GROUP BY,包括主键(如果存在)——否则 MySQL 8.0+ 会报错 Expression #1 of SELECT list is not in GROUP BY clause。

示例(假设表叫 users,字段为 name, email, age):

SELECT name, email, age, COUNT(*) AS cnt
FROM users
GROUP BY name, email, age
HAVING cnt > 1;

这个结果告诉你哪些组合重复了、重复几次。但注意:它不返回原始的 id,所以不能直接用于删除——这是初学者最容易卡住的地方。

用自连接或窗口函数定位要删的具体行

要删,就得知道删哪几条记录。推荐用 ROW_NUMBER() 窗口函数(MySQL 8.0+ 支持),按重复字段分组后给每行编号,只保留序号 = 1 的行,其余全删:

DELETE t1 FROM users t1
INNER JOIN users t2 
  ON t1.name = t2.name 
  AND t1.email = t2.email 
  AND t1.age = t2.age 
  AND t1.id > t2.id;

或者更可控的方式(适合大表):

WITH duplicates AS (
  SELECT id,
         ROW_NUMBER() OVER (
           PARTITION BY name, email, age 
           ORDER BY id
         ) AS rn
  FROM users
)
DELETE FROM users 
WHERE id IN (SELECT id FROM duplicates WHERE rn > 1);

⚠️ 注意:ORDER BY id 决定了“留哪条”,换成 created_at DESC 就能保留最新的一条。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

没有主键或唯一字段时怎么处理

如果表真没主键、也没任何能区分行的字段(比如全是 TEXT 或 JSON 字段),id 不存在,就只能靠 MySQL 的隐式行标识——但不可靠。稳妥做法是先加个临时自增列:

  • ALTER TABLE users ADD COLUMN tmp_id INT AUTO_INCREMENT FIRST, ADD PRIMARY KEY (tmp_id);
  • 执行完去重逻辑后,再 DROP COLUMN tmp_id

别试图用 SELECT DISTINCT 导出再清空重建——这在生产环境风险极高,且丢失自增计数、索引、外键约束等元信息。

删除前必须做三件事

重复数据清理是高危操作,跳过验证几乎等于删库跑路:

  • 先在测试库跑通语句,确认影响行数和保留逻辑是否符合预期
  • 对原表执行 SELECT 备份关键重复组(比如导出 GROUP BY 后的全部原始行)
  • 确保事务开启(START TRANSACTION),删完立刻 SELECT 验证,没问题再 COMMIT

特别提醒:如果表上有触发器、外键级联或正在被应用实时写入,务必停写或加锁,否则可能删掉刚插入的新数据,或引发死锁。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4123

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

871

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1069

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6001

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2903

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5980

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

8001

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1090

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

952

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 183人学习