sql如何使用distinct去除查询结果中的重复值 sqldistinct去重的基础教程技巧

DISTINCT用于行级去重，确保查询结果中每行唯一，作用于所有选定列的组合；而GROUP BY用于分组汇总，通常配合聚合函数使用，目的不是单纯去重而是统计分析。

在SQL中，

DISTINCT

关键字是用来从查询结果中消除重复行的。它就像一个高效的筛选器，确保你最终看到的数据集里，每一行都是独一无二的。当你只需要获取某个列或某几列的唯一值组合时，

DISTINCT

就能派上大用场。

解决方案

使用

DISTINCT

非常直接，它紧跟在

SELECT

关键字之后，作用于你所选择的所有列。它的基本语法是：

SELECT DISTINCT column1, column2, ...
FROM table_name;

举个例子，假设你有一个

orders

表，里面记录了所有的订单信息，包括

customer_id

。如果你想知道有多少个不同的客户下了订单，而不是每个订单的客户ID都列出来，你就可以这么写：

SELECT DISTINCT customer_id
FROM orders;

这会返回一个只包含唯一客户ID的列表。

如果你想找出哪些城市有客户下过订单，并且每个城市只出现一次，那可能是：

SELECT DISTINCT city
FROM customers;

更有趣的是，

DISTINCT

可以作用于多列。当它作用于多列时，它会检查这些列的组合是否是唯一的。比如，你想知道哪些客户在哪些城市下过订单（即客户ID和城市名的组合是唯一的），你可以这样：

SELECT DISTINCT customer_id, city
FROM orders;

这里，只有当

customer_id

和

city

的组合完全一致时，才会被认为是重复的。如果客户A在城市X下过订单，又在城市Y下过订单，那么

(A, X)

和

(A, Y)

会被视为两个不同的唯一组合。这在数据分析中特别有用，能快速发现独特的模式或关系。

DISTINCT

与

GROUP BY

在去重上的核心区别是什么？

这是个特别常见的问题，也是我刚开始接触SQL时常常混淆的地方。说白了，

DISTINCT

的主要目的是行级去重，它关注的是整个结果集的唯一性。它会扫描你

SELECT

出来的所有列，只要有一行与之前的任何一行在所有选定列上的值都完全相同，那它就会被过滤掉。它就像一个守门员，只放行那些全新的“行组合”。

而

GROUP BY

呢，它的核心功能是分组。它将具有相同值的行归为一组，然后你通常会配合聚合函数（比如

COUNT()

,

SUM()

,

AVG()

,

MAX()

,

MIN()

）来对这些组进行计算。

GROUP BY

的目的是为了汇总数据，而不是简单地去重。

举个例子，还是

orders

表：

如果你想知道所有下过订单的客户ID：

SELECT DISTINCT customer_id FROM orders;

这会给你一个不重复的客户ID列表。

但如果你想知道每个客户下了多少个订单：

SELECT customer_id, COUNT(*) AS total_orders
FROM orders
GROUP BY customer_id;

这里，

GROUP BY

把所有相同

customer_id

的行归为一组，然后

COUNT(*)

计算了每组的行数。你看，目的完全不一样。

当然，在某些特定场景下，

SELECT DISTINCT column_name FROM table_name;

的结果可能与

SELECT column_name FROM table_name GROUP BY column_name;

的结果集看起来是一样的。但这只是表象，它们背后的执行逻辑和设计意图是不同的。

GROUP BY

提供了更强大的聚合能力，而

DISTINCT

则专注于纯粹的唯一性筛选。理解这一点，能让你在选择哪个工具时更有方向。

除了基础去重，

DISTINCT

还能解决哪些数据挑战？

DISTINCT

的用处远不止于简单地把重复项剔除那么表面。在实际的数据工作中，它常常是数据探索和初步分析的利器。

一个常见的场景是数据质量检查。我经常用它来快速了解某个关键字段有多少种不同的输入值。比如，如果我发现一个

product_category

字段，理论上只有五种分类，但我用

SELECT DISTINCT product_category FROM products;

一查，结果却有七八种，甚至有拼写错误（比如"Electronics"和"electronics"），那我就知道我的数据需要清洗了。它能迅速揭示数据录入的不一致性。

另一个场景是报告和仪表盘的数据准备。当你需要为报告提供一个下拉列表，比如所有独特的国家、部门或产品类型时，

DISTINCT

是生成这个列表最直接有效的方式。它能确保用户在下拉菜单中看到的选项是干净、唯一的。

在性能优化方面，虽然

DISTINCT

本身可能会带来一些性能开销（因为它需要对数据进行排序或哈希以识别重复项），但它能帮助你减少后续操作的数据量。比如，如果你需要对一个巨大的数据集进行复杂的计算，但这个计算只需要基于唯一的某个字段值进行，那么先用

DISTINCT

筛选出唯一值，再将这些唯一值作为子查询或连接条件，有时反而能提升整体效率。这就像你不需要处理一整箱的螺丝，只需要知道有几种不同型号的螺丝一样。

此外，在连接（JOIN）操作后，有时会因为连接条件导致结果集出现逻辑上的重复。例如，一个订单可能有多个商品，如果你连接

orders

表和

order_items

表，然后想看有哪些独特的订单号，直接

SELECT order_id FROM orders JOIN order_items ON ...

可能会返回重复的订单号。这时，

SELECT DISTINCT order_id FROM orders JOIN order_items ON ...

就能轻松解决这个问题，确保每个订单号只出现一次。它就像一个数据清洗的“前置过滤器”，让后续的分析更加精确。

避免

DISTINCT

陷阱：你需要知道的实用技巧

使用

DISTINCT

虽然直观，但也有一些容易踩的“坑”或者需要注意的地方，特别是当数据量庞大或者对结果的理解不够深入时。

一个最常见的误区是误以为

DISTINCT

只作用于第一个列。实际上，

DISTINCT

关键字是作用于你

SELECT

语句中所有列的组合。这意味着，只有当所有被选择的列的值都完全相同时，那一行才会被认为是重复的。如果你写

SELECT DISTINCT columnA, columnB FROM table;

，那么它会返回

columnA

和

columnB

的唯一组合，而不是

columnA

的唯一值列表，也不是

columnB

的唯一值列表。我见过不少人想去重

columnA

，结果写成了

SELECT DISTINCT columnA, columnB

，然后发现结果里

columnA

还是有重复的，原因就在于

columnB

的值不同。

再来就是

NULL

值的处理。

DISTINCT

在处理

NULL

值时，会把所有的

NULL

都视为相同的唯一值。这意味着，如果你有一个列包含多个

NULL

，

DISTINCT

只会保留其中一个

NULL

。这在大多数情况下是符合预期的，但如果你对

NULL

有特殊的业务逻辑需求，可能需要额外的处理，比如

WHERE column IS NOT NULL

或者用

COALESCE

等函数转换

NULL

值。

性能考量也是一个实际的问题。在非常大的表上使用

DISTINCT

可能会消耗大量的系统资源，因为它通常需要对数据进行排序或者哈希操作来识别和消除重复项。如果你的表没有合适的索引，或者你对一个没有索引的大文本列使用

DISTINCT

，查询可能会变得非常慢。在处理大数据时，如果性能成为瓶颈，你可能需要考虑其他策略，比如先对数据进行预聚合，或者利用数据库的特定优化功能。但对于日常的数据探索和中小型数据集，

DISTINCT

的便利性通常远大于其潜在的性能成本。

最后，一个小的提醒是，

DISTINCT

是针对整个行而言的。如果你想基于某一个或几个列去重，但同时又想保留其他列的完整信息（比如保留最新一条记录），那么

DISTINCT

可能就不是最佳选择了。这时候，通常需要结合

ROW_NUMBER()

、

PARTITION BY

或者

GROUP BY

配合聚合函数来实现更复杂的去重逻辑。

DISTINCT

的简单性是它的优点，但也限制了它在复杂去重场景下的适用性。