推荐方案是用row_number() + cte删除重复行：先以partition by分组、order by排序编号，再通过cte删除rn>1的行；mysql 8.0+需cte中转，老版本用自连接或派生表绕过限制，执行前必须select验证逻辑并确保索引覆盖。
用 ROW_NUMBER() + CTE 删除重复行（推荐方案）
大多数现代数据库（PostgreSQL、SQL Server、Oracle、MySQL 8.0+）支持窗口函数，ROW_NUMBER() 是最稳妥的去重方式：它能明确指定“按什么排序、保留哪一条”。关键不是“随便留一条”，而是控制保留逻辑。
常见错误是直接 GROUP BY 后 SELECT *——这在标准 SQL 中非法，MySQL 5.7+ 默认也报错。
- 先用 CTE 给每组重复数据编号：
ROW_NUMBER() OVER (PARTITION BY col1, col2 ORDER BY id)，按业务主键（如id）升序，确保最小id得到序号 1 - 在外部
DELETE中过滤掉序号 > 1 的行：WHERE rn > 1 - 务必确认
PARTITION BY列和业务意义上的“重复判断字段”完全一致；多列时注意 NULL 处理（NULL = NULL 在PARTITION BY中成立）
WITH dup AS (
SELECT id, ROW_NUMBER() OVER (
PARTITION BY name, email ORDER BY id
) AS rn
FROM users
)
DELETE FROM users WHERE id IN (
SELECT id FROM dup WHERE rn > 1
);
MySQL 5.7 或更低版本怎么处理？
这些版本不支持窗口函数，也不能在子查询中直接引用目标表。常见错误写法：DELETE FROM t WHERE id NOT IN (SELECT MIN(id) FROM t GROUP BY a,b)——会报错 You can't specify target table 't' for update in FROM clause。
必须绕过 MySQL 的限制，核心是“把子查询结果变成临时表”：
- 用
(SELECT ...)包裹子查询，强制生成派生表（derived table） - 确保
GROUP BY字段与判断重复的字段严格一致，且不含可能为 NULL 的列（否则MIN(id)可能漏掉 NULL 组） - 如果存在全为 NULL 的重复行，需额外处理，例如用
COALESCE(col, '')替代原始列参与分组
DELETE FROM users WHERE id NOT IN (
SELECT * FROM (
SELECT MIN(id) FROM users GROUP BY name, email
) AS tmp
);
SQLite 怎么安全去重？
SQLite 不支持 DELETE ... FROM ... JOIN 语法，也不支持 CTE 中嵌套 DELETE。最容易踩的坑是误用 rowid 做条件却没确认表是否有显式主键——没有主键的表才用 rowid，有 INTEGER PRIMARY KEY 的列等价于 rowid，但名字不同。
- 优先使用显式主键（如
id），避免依赖rowid导致迁移风险 - 用自连接模拟“找最小 id”：
WHERE t1.id > t2.id AND t1.a = t2.a AND t1.b = t2.b - 务必加
AND t2.id IS NOT NULL防止 NULL 导致意外全删（SQLite 中 NULL 不等于任何值，但自连接时若某列全 NULL，可能匹配失效）
DELETE FROM users WHERE id NOT IN ( SELECT MIN(id) FROM users GROUP BY name, email );
注意：SQLite 允许这种写法，且不会报错，但前提是 name 和 email 上无 NULL ——若有，得改用 COALESCE(name,'') || COALESCE(email,'') 拼接分组。
DELETE 前必须做的三件事
线上表去重不是执行一条语句就完事。容易被忽略的是事务边界和索引影响。
- 先
SELECT验证重复行数：SELECT col1,col2,COUNT(*) FROM t GROUP BY col1,col2 HAVING COUNT(*) > 1，确认范围 - 检查相关字段是否有索引——
PARTITION BY或GROUP BY字段没索引时，大表可能卡住甚至 OOM - 用
BEGIN TRANSACTION包裹操作，并在测试库跑通后再上生产；某些数据库（如 PostgreSQL）对 CTE 中的DELETE会锁整张表，不是只锁匹配行
真正麻烦的从来不是语法，而是“删掉的那条，是不是业务上真该删”。比如订单表按用户+商品去重，但两条记录创建时间差 1 秒，可能是并发提交——直接删可能丢支付状态。
