mysql聚合查询为何性能波动大_分组排序执行流程与SortBuffer参数调优

胖枫姑娘_7487

胖枫姑娘_7487

2026-05-06

574人浏览

原创

group by 性能差异关键在于是否命中索引:无索引时触发磁盘临时表(using temporary)和 filesort,导致io瓶颈;复合索引需覆盖group by、where及select非聚合列;避免函数分组、隐式类型转换;order by与group by一致可复用有序性,否则额外排序;sort_buffer_size宜设2m~4m,过大引发oom;tmp_table_size与max_heap_table_size需同步调大以避免磁盘临时表;开启only_full_group_by可防止低效执行。

mysql聚合查询为何性能波动大_分组排序执行流程与sortbuffer参数调优

GROUP BY 为什么有时快有时慢?关键在是否走索引

MySQL 执行 GROUP BY 时,性能差异往往不是 SQL 写得“好不好”,而是执行计划有没有命中索引。如果 GROUP BY 字段上没有合适索引,MySQL 就必须回表或全表扫描后做临时表聚合,这时候就极易触发磁盘临时表(Using temporary),IO 成为瓶颈。

常见错误现象:EXPLAIN 显示 Extra 列含 Using temporary; Using filesort,且查询耗时随数据量非线性增长。

  • 复合索引要覆盖 GROUP BY 字段 + WHERE 过滤字段 + SELECT 中的非聚合列(如需 MIN()/MAX() 等)
  • 避免在 GROUP BY 中用函数或表达式,例如 GROUP BY YEAR(create_time) 会强制放弃索引
  • 注意隐式类型转换:比如 user_id 是 BIGINT,但 WHERE user_id = '123' 传字符串,可能导致索引失效,连带影响分组效率

ORDER BY + GROUP BY 混用时,排序到底在哪一步发生?

很多人以为 ORDER BY 是最后才排,其实不然。当 GROUP BY 和 ORDER BY 字段一致(如 GROUP BY category ORDER BY category),MySQL 可能复用分组过程中的有序性,跳过二次排序;但如果 ORDER BY 字段不在分组键中,或顺序不一致(如 GROUP BY a ORDER BY b),就必须额外走一次排序流程——这时就轮到 sort_buffer_size 发挥作用了。

典型表现:EXPLAIN 中 Extra 出现 Using filesort,且 Handler_read_rnd_next 值飙升,说明大量随机 IO。

  • 若 ORDER BY 字段有索引,优先让优化器走索引排序,而不是依赖 sort_buffer
  • GROUP BY ... ORDER BY NULL 可显式禁用排序,避免无谓开销(适用于只关心分组结果、不要求输出顺序的场景)
  • 5.7+ 版本中,GROUP BY 默认隐含 ORDER BY,如不需排序,务必显式加 ORDER BY NULL

sort_buffer_size 不是越大越好,超限反而降速

sort_buffer_size 是每个连接独享的内存区,用于单次排序(包括 ORDER BY、DISTINCT、部分 GROUP BY 场景)。设成 256MB 看似爽,但实际可能拖垮整体性能。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

原因很实在:该内存不能复用,每起一个新连接就分配一份;若并发高,容易触发 OS 内存交换(swap),甚至 OOM killer 杀进程。

  • 线上建议初始值设为 2M~4M,观察 Sort_merge_passes 状态变量:持续 > 0 表示频繁归并排序,可小幅上调(每次 +1M)
  • Sort_merge_passes / Questions 比值超过 0.001,大概率说明排序内存不足,正在反复归并
  • 注意区分 sort_buffer_size 和 read_rnd_buffer_size:后者影响回表随机读,调它对分组排序基本无效

真正卡顿的元凶常藏在“隐式分组”和临时表引擎里

有些 GROUP BY 查询看似简单,却莫名变慢,查 SHOW PROCESSLIST 发现状态长期卡在 Creating tmp table 或 Copying to tmp table on disk。这不是 SQL 问题,而是 MySQL 自动选用了磁盘临时表。

触发条件包括:结果集含大字段(TEXT/BLOB)、GROUP BY 字段长度超 tmp_table_size 与 max_heap_table_size 的较小值、或使用了不支持内存表的函数(如 JSON_EXTRACT)。

  • 检查当前设置:SELECT @@tmp_table_size, @@max_heap_table_size;,二者需同步调大(建议不超过 256M)
  • 避免在 SELECT 列中返回未参与分组又没聚合的列(即违反 ONLY_FULL_GROUP_BY 但被关闭时),这会让 MySQL 强制建临时表
  • 5.7+ 默认开启 ONLY_FULL_GROUP_BY,别轻易关——它不只是语法校验,也阻止了歧义导致的低效执行路径

分组排序的波动,很少来自算法本身,更多是执行路径在内存/磁盘、索引/全表、临时表引擎之间的临界切换。盯住 EXPLAIN、SHOW STATUS LIKE 'Sort%' 和 Handler_% 这三类指标,比盲目调参管用得多。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2273

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1379

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

815

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3132

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

5328

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1179

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5591

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

4882

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

6494

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 188人学习