sql层去重比php层更可靠高效，distinct仅对整行去重，按字段去重要用group by或窗口函数，删除重复需谨慎并备份，orm的distinct有局限，定义“重复”粒度是关键。
直接在 SQL 层过滤重复数据，比在 PHP 层用 array_unique() 处理更可靠、更省资源。尤其当数据量稍大（比如 > 1000 行）或并发写入频繁时，PHP 层去重容易漏判、多查、甚至引发脏数据。
SELECT DISTINCT 不等于“万能去重”
DISTINCT 是最常用的去重手段，但它只对**整行字段组合**做唯一判断，不是按某一个字段“去重保留一条”。比如：SELECT DISTINCT user_id, name FROM orders，只要 user_id 和 name 的组合不完全相同，就算重复字段也会被保留。
- 想只取不重复的
user_id？必须写成SELECT DISTINCT user_id FROM orders，不能带其他非分组字段 - 如果还想要每个
user_id对应的最新订单时间，DISTINCT就无能为力了，得换GROUP BY或窗口函数 -
DISTINCT在大数据量下可能触发临时表和文件排序，MySQL 会显示Using temporary; Using filesort，影响查询速度
GROUP BY + 聚合函数才是“按字段去重并选代表”
当你需要“每个 email 只留一条，且要这条记录的完整字段（比如 id 最大的那条）”，GROUP BY 配合 MAX() 或 MIN() 才是正解。
- 先确认你要依据哪几个字段判定“重复”——通常是业务主键，如
email、phone、union_id - 写法示例：
SELECT MAX(id) as id, email, MAX(created_at) as created_at FROM users GROUP BY email - 注意：MySQL 5.7+ 默认开启
ONLY_FULL_GROUP_BY模式，所以SELECT *+GROUP BY email会报错；必须把非分组字段显式套进聚合函数里 - 如果原始表没索引，
GROUP BY email可能全表扫描，记得给email加INDEX或UNIQUE
DELETE 重复行时别误删唯一记录
清理已有重复数据，不能靠 SELECT DISTINCT 导出再覆盖——中间有并发风险，且无法保证哪条被保留。安全做法是用自连接或窗口函数精准定位冗余行。
- MySQL 5.7 及以下常用自连接删除：
DELETE t1 FROM users t1 INNER JOIN users t2 WHERE t1.id > t2.id AND t1.email = t2.email - MySQL 8.0+ 推荐用
ROW_NUMBER()：DELETE FROM users WHERE id IN (SELECT id FROM (SELECT id, ROW_NUMBER() OVER (PARTITION BY email ORDER BY id DESC) AS rn FROM users) tmp WHERE rn > 1) - 执行前务必备份：
CREATE TABLE users_backup AS SELECT * FROM users - 千万别在没
WHERE条件或没测试子查询结果的情况下直接跑DELETE
ThinkPHP 等 ORM 的 distinct() 方法有隐藏限制
ThinkPHP 的 distinct(true) 看似方便，但底层仍是拼 SELECT DISTINCT，它不解决“保留最新/最全那条”的问题，也不自动加索引提示。
- 它生成的 SQL 仍受 MySQL
ONLY_FULL_GROUP_BY约束，比如->field('id,email')+->distinct(true)+->group('email')会冲突，TP 不会帮你校验 - 如果你用的是
->where('status', 1)->distinct(true)->field('email')->select()，那没问题；但一旦加了id或created_at，就可能报错或返回意外结果 - 复杂去重要求（如“每个 email 取 status=1 且 id 最大的那条”），别硬套 ORM 链式方法，老实用原生 SQL 或
Db::query()
真正难的不是写对一句 DISTINCT，而是想清楚：你定义的“重复”到底是什么粒度？是字段值相同即重复，还是业务逻辑上“同一用户多次注册”才算？这个判断一旦错，后面所有去重操作都在加固错误。数据库约束（如 UNIQUE(email)）和插入前校验（INSERT IGNORE）比事后清理重要十倍。
php免费学习视频：立即使用
踏上前端学习之旅，开启通往精通之路！从前端基础到项目实战，循序渐进，一步一个脚印，迈向巅峰！
