SQL中如何对亿级数据进行高效分组统计

酷杰小哥_2177

酷杰小哥_2177

2026-08-10

326人浏览

原创

group by 在亿级表上慢是因为全表扫描后需内存/磁盘排序分组并聚合,数据量越大,i/o、内存与cpu开销越不可控;索引必须为覆盖式复合索引(如dt, city, amount),且顺序需匹配查询生命周期:先过滤、再分组、最后取值;having逻辑不可写入where,高区分度条件应前置where过滤;null值导致哈希倾斜,需not null约束或coalesce归一;分区表须确保where条件触发分区裁剪,避免函数破坏裁剪。

sql中如何对亿级数据进行高效分组统计

GROUP BY 为什么在亿级表上会慢

因为默认执行路径是:全表扫描 → 内存/磁盘排序分组 → 聚合计算。数据量越大,排序和哈希分组的内存压力、I/O开销、CPU消耗就越不可控。哪怕加了索引,如果 WHERE 条件没命中、或 GROUP BY 字段不在索引最左前缀,索引也大概率被跳过。

必须建复合索引,且顺序要对

索引不是“有就行”,而是要覆盖查询生命周期:先过滤、再分组、最后取值。比如查「2024年各城市销售额」,语句是:SELECT city, SUM(amount) FROM sales WHERE dt >= '2024-01-01' GROUP BY city,对应索引应为:CREATE INDEX idx_dt_city_amount ON sales (dt, city, amount)。

  • dt 放最左:确保 WHERE 能走索引范围扫描
  • city 紧跟其后:让分组能在索引内完成,避免回表或额外排序
  • amount 加入:构成覆盖索引,SUM(amount) 直接从索引页读取,不查数据页

如果只建 (city) 或 (city, dt),数据库很可能放弃索引,退回到全表扫描+外部排序。

AI图像编辑器
AI图像编辑器

一款AI图像与设计工具,主要用于使用文本提示编辑、变换和增强照片,适合需要提升相关任务效率的用户。

下载

HAVING 条件别写进 WHERE,但聚合过滤要前置

常见错误是把本该用 HAVING 的逻辑硬塞进 WHERE,比如写 WHERE SUM(amount) > 10000 —— 直接报错。但反过来,如果业务允许,把高区分度过滤条件尽量往前压:

  • 用 WHERE 先筛掉 90% 无效数据(如状态 = 'paid'、租户 ID = 123)
  • 避免在 HAVING 里写复杂表达式,如 HAVING COUNT(*) / SUM(quantity) > 0.8;拆成子查询或预计算列更稳
  • 若需按聚合结果分页(如 Top 10 城市),优先用 LIMIT + ORDER BY,而非先算全量再 LIMIT

NULL 值和分区裁剪是隐形性能杀手

亿级表里,GROUP BY 字段若存在大量 NULL,会导致分组哈希桶倾斜;而未启用分区裁剪时,哪怕只查昨天的数据,也可能扫完整个历史分区。

  • 对关键分组字段(如 region、tenant_id)加 NOT NULL 约束,或用 COALESCE(region, 'unknown') 统一归类,减少空值干扰
  • 按时间或租户做范围/列表分区后,确认查询是否触发裁剪:执行 EXPLAIN 看 Partitions 列是否只显示目标分区
  • 避免在分区键上用函数,如 WHERE DATE(dt) = '2024-06-01' 会失效;改用 WHERE dt >= '2024-06-01' AND dt

真正卡住的往往不是语法,而是 NULL 分布不均、分区没生效、或者索引字段顺序错了——这些在百万级表里不显眼,在亿级表里直接拖垮响应时间。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3943

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

851

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1029

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5781

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2723

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5760

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7621

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1030

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

912

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PDO数据库抽象层
PDO数据库抽象层

共7课时 | 3.3万人学习

SQL优化与排查(MySQL版)
SQL优化与排查(MySQL版)

共26课时 | 3.2万人学习