SQL如何更新重复数据并保留最新记录

P粉602998670

P粉602998670

2026-07-23

978人浏览

原创

sql没有万能“更新重复数据并保留最新记录”语句,必须拆解为识别最新记录+删除旧记录或覆盖写入两步;核心依赖row_number()或max()+子查询,具体选择取决于查询、删除或upsert场景。

sql如何更新重复数据并保留最新记录

直接说结论:SQL 本身没有“更新重复数据并保留最新记录”这一条万能语句,必须拆解为「识别最新记录」+「删除旧记录」或「覆盖写入」两步;核心靠 ROW_NUMBER()MAX() + 子查询,具体选哪种取决于你用的是查询、删除,还是 UPSERT 场景。

ROW_NUMBER() 删除旧重复行(最常用)

这是 SQL Server、PostgreSQL、MySQL 8.0+ 的标准做法。关键不是“更新”,而是先标记再删——把非最新行干掉,剩下自然就是最新。

  • PARTITION BY 字段必须是你认为“重复”的依据,比如 ProductNamecustomer_id 或多个列组合:PARTITION BY order_number, product
  • ORDER BY 必须是能定义“最新”的字段,优先级:时间戳(create_time DESC) > 自增 ID(id DESC);注意 DESC 不能漏,否则会留最老的
  • CTE 中不能直接 DELETE FROM CTE(除 SQL Server 外多数不支持),要套一层子查询或用 IN 关联主键
  • 示例(删 Sales 表中同 ProductName 的旧记录):
WITH dupes AS (
  SELECT ID,
         ROW_NUMBER() OVER (
           PARTITION BY ProductName 
           ORDER BY OrderDate DESC, ID DESC
         ) AS rn
  FROM Sales
)
DELETE FROM Sales 
WHERE ID IN (SELECT ID FROM dupes WHERE rn > 1);

MAX() + 自连接查最新记录(兼容老版本 MySQL)

如果你在用 MySQL 5.7 或更早版本,ROW_NUMBER() 不可用,就得靠聚合 + 连接。它不删数据,只查出每组最新的一行,适合只读或导出场景。

悟智写作
悟智写作

易开即用的AI写作平台

下载
  • 子查询里 GROUP BY 的字段必须和外层 JOIN 条件完全一致,少一个就可能漏匹配
  • MAX(create_time) 只能保证时间最新,但如果同一时间有多个记录,会随机返回一个(没去重逻辑);此时必须加第二排序维度,比如 MAX(id),但 MAX() 无法跨字段取整行,所以这种方案天然有歧义
  • 不要用 SELECT * 直接跟 GROUP BY,MySQL 5.7 严格模式会报错;必须显式列出所有非聚合字段或改用 ANY_VALUE()
  • 示例(查 orders 表中每个 order_id 的最新记录):
SELECT o1.*
FROM orders o1
INNER JOIN (
  SELECT order_id, MAX(order_date) AS max_date
  FROM orders
  GROUP BY order_id
) o2 ON o1.order_id = o2.order_id AND o1.order_date = o2.max_date;

MERGE 实现“存在则更新,不存在则插入”(UPSERT)

这不是“删旧留新”,而是“按唯一键判断是否已存在”。适用于同步上游变更、ETL 场景。SQL Server 支持完整 MERGE,MySQL 用 INSERT ... ON DUPLICATE KEY UPDATE,PostgreSQL 用 INSERT ... ON CONFLICT

  • 前提:目标表必须有明确的唯一约束或主键(如 UNIQUE(product_name)),否则 MERGE 不知道拿什么去 ON
  • MERGEWHEN MATCHED THEN UPDATE 是整行覆盖,不会自动忽略 NULL 字段;如果只想更新部分列,得显式写出来
  • 并发下可能触发死锁,尤其当多线程同时 Upsert 同一 key 时;建议加 HOLDLOCK(SQL Server)或控制应用层重试
  • SQL Server 示例(以 ProductName 为唯一标识同步 Sales 表):
MERGE Sales AS target
USING (VALUES ('笔记本X1', '2026-07-20')) AS source (ProductName, OrderDate)
ON target.ProductName = source.ProductName
WHEN MATCHED THEN
  UPDATE SET OrderDate = source.OrderDate
WHEN NOT MATCHED THEN
  INSERT (ProductName, OrderDate) VALUES (source.ProductName, source.OrderDate);

真正容易被忽略的点是:所谓“最新”必须有明确定义——是最后插入?最后修改?还是业务上最后一次有效状态?时间字段如果有 NULL、时区混用、精度不一致(DATETIME vs DATETIME2(7)),ORDER BY ... DESC 就可能排错。别假设数据干净,先 SELECT 看一眼分组内的时间分布再说。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

2451

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

449

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

614

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3969

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

1345

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

3561

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

3493

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

642

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

526

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.4万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 131.8万人学习