在MySQL中如何避免大查询将热点数据刷出缓存区

小婷大大_7161

小婷大大_7161

2026-11-03

854人浏览

原创

大查询会把热点数据刷出InnoDB Buffer Pool,因其加载大量非热点页时,按改进型LRU算法默认插入old sublist,若Buffer Pool已满,old sublist中久未访问的页(常为热点页)被优先淘汰;而innodb_old_blocks_time和innodb_old_blocks_pct可调控冷热分离,防止大查询页过早晋升young区。

在mysql中如何避免大查询将热点数据刷出缓存区

为什么大查询会把热点数据刷出 InnoDB Buffer Pool

MySQL 的 InnoDB Buffer Pool 是有限的内存区域,用于缓存数据页和索引页。当执行一个扫描大量非热点页的大查询(比如全表扫描、未走索引的 WHERE 查询、或大范围 ORDER BY + LIMIT),InnoDB 会按需将这些新页载入 Buffer Pool。由于 LRU 算法实际是“改进型 LRU”(带 midpoint insertion strategy),新读入的页默认插入到 midpoint 之后(即“young 区”尾部附近),如果 Buffer Pool 已满,就会淘汰“old 区”里最久未访问的页——而这些往往正是被高频访问的热点数据页。

用 innodb_old_blocks_pct 和 innodb_old_blocks_time 控制冷热分离

这是最直接有效的配置级防护。InnoDB 默认把 Buffer Pool 分为 young 和 old 两段(比例由 innodb_old_blocks_pct 决定,默认 37%,即约 1/3 是 old 区)。新读入的页先放 old 区,只有在 innodb_old_blocks_time 毫秒内被再次访问,才会晋升到 young 区。大查询通常只扫一遍,因此其读入的页大概率停留在 old 区并被优先淘汰,不挤占热点页位置。

  • innodb_old_blocks_pct = 20:缩小 old 区,让真正冷的数据更快被淘汰(适合热点非常集中的场景)
  • innodb_old_blocks_time = 1000(毫秒):要求页在 1 秒内被二次访问才晋升;太小(如 0)会让大查询页也轻易进入 young 区,失效保护;太大(如 5000)可能误伤部分真实低频但需保留的页
  • 修改后需重启 MySQL 或动态 SET(5.7+ 支持 SET GLOBAL,但部分版本仅对新连接生效)

用 SQL_NO_CACHE 或 SELECT ... INTO DUMPFILE 避免污染查询缓存(仅限旧版)

注意:MySQL 8.0 已彻底移除查询缓存(query_cache_type 强制为 OFF),此条仅适用于仍在用 5.6/5.7 且开启 QC 的场景。即使如此,QC 对大查询几乎无益(结果集太大无法缓存),反而可能因频繁失效拖慢性能。更关键的是:SELECT SQL_NO_CACHE ... 能阻止该语句写入 QC,减少锁争用;而对纯粹想“绕过 Buffer Pool”的导出类操作,SELECT ... INTO DUMPFILE '/tmp/big.out' 会跳过结果集构造阶段,显著降低 Buffer Pool 压力——但它不返回结果,只写文件,适用场景受限。

热点分析与爆款挖掘
热点分析与爆款挖掘

热点分析与爆款挖掘工具。当用户询问"全网最新话题"、"最近有什么热点"、"XX话题热度分析"、"XX有什么爆款内容"、"选题推荐"、"热点追踪"、"爆款挖掘"或"内容定位建议"时,必须使用本skill。自动挖掘抖音、小红书、公众号、快手、B站、微博、视频号、知乎、新闻门户等平台的爆款内容,聚合热门关键词,分析爆款规律,提供创作角度建议。适用于选题策

下载

应用层控制:拆分 + 覆盖索引 + 强制 FORCE INDEX

配置只是兜底,根本解法在 SQL 本身。大查询刷缓存的本质,是它读了不该读的页。常见对策:

  • 对分页场景(如 OFFSET 1000000 LIMIT 20),改用基于游标的分页(WHERE id > ? ORDER BY id LIMIT 20),避免跳过百万行
  • 确保 WHERE 条件字段有覆盖索引,让查询只读索引页,不回表查聚簇索引(减少 50%+ Buffer Pool 占用)
  • 对明确知道走错索引的语句,加 FORCE INDEX (idx_name),防止优化器选中全表扫描路径
  • 后台任务类大查询,尽量安排在业务低峰期,并限制并发数(如用应用层信号量或数据库 max_execution_time)

Buffer Pool 的冷热混杂问题不会完全消失,但只要大查询不反复触发全表扫描、且 old 区策略得当,热点页就能稳在 young 区——这点比盲目加大 Buffer Pool 更有效。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql 热点

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2453

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1479

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

875

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3472

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

5988

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1279

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

6251

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

5382

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

7274

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 193人学习