SQL中COUNT(DISTINCT字段)为什么执行缓慢

大宇姑娘_4978

大宇姑娘_4978

2026-08-08

156人浏览

原创

COUNT(DISTINCT col)必须建临时去重集合,因其需在内存或磁盘中维护哈希表或排序结构,逐行判断并存储唯一值,无法跳过该过程;无索引、低选择性、多列组合或高基数场景下易触发全表扫描与落盘,导致性能断崖式下降。

sql中count(distinct字段)为什么执行缓慢

为什么 COUNT(DISTINCT) 必须建临时去重集合

COUNT(DISTINCT col) 不是简单遍历加个计数器就能完成的。数据库必须在内存或磁盘中维护一个去重结构(如哈希表或排序后的唯一值列表),每遇到一个新值就判断是否已存在,再决定是否插入。这个过程无法跳过、无法并行化到单次扫描外——哪怕你只查一列,它也得把所有匹配行的 col 值全拉出来跑一遍去重逻辑。

常见错误现象:EXPLAIN 中看到 Using temporary; Using filesort(MySQL)或 HashAggregate(PostgreSQL)就说明正在干这事;如果数据量大且无索引,大概率触发全表扫描 + 内存溢出写磁盘,速度断崖式下跌。

COUNT(DISTINCT) 的性能瓶颈在哪几类场景最明显

不是所有 COUNT(DISTINCT) 都慢,但以下情况会显著放大开销:

  • 去重字段选择性极低:比如 status 只有 'pending'、'done'、'failed' 三个值,却对上亿行做 COUNT(DISTINCT status)——数据库仍要逐行读、逐行哈希、逐行判重,浪费大量 I/O 和 CPU
  • 字段无索引且查询条件无法过滤掉大部分数据:例如 WHERE created_at > '2025-01-01' 本可快速定位,但 created_at 没索引,引擎只能扫全表,再对每一行提取 user_id 去重
  • 多列去重:COUNT(DISTINCT user_id, product_id) 要对组合值哈希,内存占用和碰撞概率都比单列高得多;SQLite 和 SQL Server 2014 及以前还不支持,直接报错 Incorrect syntax near ','
  • 嵌套子查询里反复用:SELECT a, COUNT(DISTINCT b), COUNT(DISTINCT c) FROM t GROUP BY a 在传统执行器中会触发两次独立去重,不是一次扫描搞定

什么时候该放弃 COUNT(DISTINCT) 改用近似统计

当你要同时算多个去重指标,或单次去重基数超过千万级且允许小误差时,硬扛 COUNT(DISTINCT) 就是自找麻烦。

可用方案包括:

  • BigQuery / Spark SQL:APPROX_COUNT_DISTINCT(col),误差通常
  • Trino / Presto:approx_distinct(col)
  • PostgreSQL:没有内置近似函数,但可用 #(SELECT array_agg(DISTINCT x) FROM t)?别试——这是错的,array_agg 不去重,且会爆内存
  • 真要精确又快:提前物化去重结果到汇总表,或用 MATERIALIZED VIEW(PostgreSQL 9.4+)定期刷新

容易被忽略的关键细节

COUNT(DISTINCT) 对 NULL 自动忽略,这点和 SUM、AVG 一致,但和 COUNT(*) 不同——后者会把 NULL 行也算进去。如果你的业务逻辑依赖 NULL 计入总数,就不能用 DISTINCT,得换思路,比如用 COUNT(*) - COUNT(col) 算 NULL 个数。

另外,COUNT(DISTINCT *) 是语法错误,DISTINCT 后面必须跟具体列或表达式,不能偷懒。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

5003

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

1011

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1309

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

7061

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3723

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

7060

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

9881

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1350

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1172

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习