在SQL中如何避免GROUP BY引发的大量磁盘临时表

秋芳大大_6799

秋芳大大_6799

2026-10-31

854人浏览

原创

Using temporary表示MySQL已放弃索引分组,正在写磁盘临时文件,是I/O瓶颈已成型;必须检查type是否为ALL/index、key_len是否匹配、Extra是否有Using where,否则WHERE未走索引导致过滤后移。

在sql中如何避免group by引发的大量磁盘临时表

EXPLAIN里出现Using temporary就该停手检查

只要EXPLAIN的Extra列里有Using temporary,说明MySQL已放弃索引分组,正在往磁盘写#sql_*临时文件——这不是“可能慢”,是I/O瓶颈已成型。此时调参只是拖延时间,必须先确认三件事:type是不是ALL或index、key_len是否匹配字段实际长度、Extra里有没有Using where。没Using where往往意味着WHERE条件根本没进索引,过滤动作被挪到了分组之后。

GROUP BY字段顺序决定联合索引怎么建

单列索引对多字段分组基本无效。真正起效的是严格按GROUP BY子句顺序创建的联合索引,且要兼顾WHERE条件的最左前缀匹配。例如查询:SELECT region, user_tier, COUNT(*) FROM orders o JOIN users u ON o.user_id = u.id WHERE u.status = 'active' GROUP BY region, user_tier,索引应为INDEX(status, region, user_tier),而不是INDEX(region, user_tier)。如果还要AVG(order_amount),就把order_amount加到索引末尾形成覆盖,避免回表。

高基数字段直接进GROUP BY等于主动触发磁盘落表

user_id、ip_address、email这类高基数字段一旦出现在GROUP BY里,分组桶数量会呈乘积级膨胀,内存临时表瞬间超限。解决方式不是调大tmp_table_size,而是降维:

  • 用JOIN把user_id映射成tier(VIP/普通/试用)再分组
  • 用IP库把ip_address转成country或isp再聚合
  • 邮箱提取SUBSTRING_INDEX(email, '@', -1)得域名,再按域名分组

这些操作必须确保JOIN条件走索引,否则只是把性能问题从GROUP BY转移到JOIN。

别信函数能绕过索引失效

GROUP BY DATE(created_at)、GROUP BY YEAR(month)这类写法会让所有索引失效,MySQL只能全表扫描再逐行计算。MySQL 5.7不支持函数索引,INDEX(DATE(created_at))完全无效。可行解只有两个:

  • 加冗余字段如created_date DATE,建索引INDEX(created_date, user_id),查询改用WHERE created_date BETWEEN ... GROUP BY created_date
  • 用范围条件提前过滤,比如WHERE created_at >= '2026-09-01' AND created_at ,先砍掉90%数据再分组

临时表参数可以同步调大作兜底,但tmp_table_size和max_heap_table_size必须设为相同值,且不宜超过物理内存25%,否则并发一高就OOM。

真正卡住的点往往不在SQL本身,而在分组维度设计是否贴合业务真实需要——一个报表是否真要按百万级user_id展开,还是只需要它归属的3档tier?这种判断比写对索引更难,也更容易被忽略。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4643

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

951

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1229

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6641

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3363

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6600

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

9101

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1230

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1072

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习