如何避免SQL子查询产生的临时表导致磁盘I/O瓶颈

大磊酱_3306

大磊酱_3306

2026-08-31

426人浏览

原创

子查询易触发磁盘临时表,因优化器在无法下推条件或关联字段无索引时会隐式物化结果;一旦超出tmp_table_size/max_heap_table_size限制,便退化为磁盘表,引发高i/o。

如何避免sql子查询产生的临时表导致磁盘i/o瓶颈

为什么子查询容易触发磁盘临时表

MySQL 在执行 IN、NOT IN、ANY/SOME、ALL 等子查询时,若优化器判断无法直接下推条件或关联字段无索引,会隐式创建内部临时表来缓存子查询结果。一旦该临时表体积超过 tmp_table_size 或 max_heap_table_size(取较小值),就会退化为磁盘表(.IBD 文件),引发大量随机 I/O。

典型信号包括:EXPLAIN 输出中出现 Using temporary,且 rows 值远高于预期;SHOW STATUS LIKE 'Created_tmp_disk_tables' 计数持续上升;慢日志里出现 Copying to tmp table 阶段耗时占比高。

用 JOIN 替代 IN 子查询的实操要点

多数 IN (SELECT ...) 场景可安全转为 INNER JOIN,前提是子查询结果集不为空或逻辑允许去重。

  • 原写法:SELECT * FROM orders WHERE customer_id IN (SELECT id FROM customers WHERE status = 'active');
  • 改写后:SELECT o.* FROM orders o INNER JOIN customers c ON o.customer_id = c.id WHERE c.status = 'active';

关键点:

  • 必须确保 customers.id 和 orders.customer_id 上都有索引,否则 JOIN 本身会全表扫描
  • 如果子查询含 GROUP BY 或聚合,JOIN 后需加 DISTINCT 或调整逻辑,避免重复行
  • NOT IN 必须换为 NOT EXISTS,因为 NOT IN 遇到 NULL 会整个条件返回 UNKNOWN,结果为空

当必须用子查询时,如何控制临时表大小

无法彻底消除子查询时,要主动约束其输出规模和结构,避免膨胀成磁盘表。

  • 在子查询中尽早加 WHERE 过滤,不要把“先查全量再过滤”留到外层
  • 显式指定需要的列,避免 SELECT * —— 字段越少,临时表内存占用越小
  • 对子查询结果加 LIMIT(如业务允许):例如 IN (SELECT id FROM logs WHERE type='error' ORDER BY ts DESC LIMIT 100)
  • 检查并调大当前会话的 tmp_table_size 和 max_heap_table_size,但注意全局设置过大会挤占 Buffer Pool

警惕那些看似简单却暗藏临时表的写法

以下写法常被忽略,但 MySQL 内部仍会建临时表:

  • SELECT DISTINCT col FROM t:无索引时必走临时表去重
  • SELECT ... GROUP BY a, b ORDER BY b:若 ORDER BY 字段不在 GROUP BY 列中,且无覆盖索引,会强制建临时表排序
  • UNION(非 UNION ALL):去重过程需临时表 + 排序
  • ORDER BY 中使用函数,如 ORDER BY UPPER(name):无法利用索引,大概率触发 Using filesort + 临时表

真正难处理的不是“要不要用子查询”,而是子查询嵌套在 GROUP BY 或 ORDER BY 上游时,优化器失去下推能力——这时候往往得拆成显式 CREATE TEMPORARY TABLE 并手动建索引,反而更可控。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4283

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

891

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1109

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6201

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3043

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6160

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

8341

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1130

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

992

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.7万人学习