mysql8.0如何解决深分页查询性能瓶颈_利用延迟关联与书签法优化

千杰君_4150

千杰君_4150

2026-06-03

1017人浏览

原创

MySQL深分页性能差的根本原因是OFFSET必须扫描并丢弃前N行,优化核心是绕过LIMIT offset,size模型;推荐游标分页(WHERE id>last_id)、延迟关联(子查询取ID再JOIN)或预生成映射表。

mysql8.0如何解决深分页查询性能瓶颈_利用延迟关联与书签法优化

MySQL 8.0 的深分页(如 LIMIT 1000000, 10)不是“慢一点”的问题,而是根本性设计缺陷:它必须扫描并丢弃前 offset 行,无论有没有索引。优化的核心不是调参,而是绕过 LIMIT offset, size 这个执行模型本身。

延迟关联(Deferred Join)为什么在 MySQL 8.0 更有效

MySQL 8.0 的优化器对子查询物化(materialization)和半连接(semi-join)的支持更成熟,JOIN 子查询的执行计划更稳定,避免了早期版本中常见的临时表全扫描退化。

  • 必须确保子查询中的 ORDER BY 字段有覆盖索引,否则 SELECT id FROM t ORDER BY create_time LIMIT 1000000, 10 本身就会触发 Using filesort
  • 主表 JOIN 时,ON t.id = tmp.id 必须依赖主键或唯一索引——InnoDB 会走聚簇索引查找,这是 O(log n) 的 B+ 树定位,不是随机 I/O
  • 如果业务允许只查部分字段,把 SELECT t.* 改成 SELECT t.id, t.name, t.status,配合覆盖索引,能进一步消除回表
  • 注意:子查询结果集不能太大,LIMIT 1000000, 10 没问题,但 LIMIT 1000000, 1000 可能导致临时内存不足,建议单页 size ≤ 100

书签法(Bookmark Pagination)的实际落地要点

书签法本质是用 WHERE 条件替代 OFFSET,但它不是简单“记住上一页最后 ID”就完事,MySQL 8.0 下要特别注意边界、排序一致性与索引匹配。

MySQL8 CRM Schema Design Expert
MySQL8 CRM Schema Design Expert

面向 CRM 系统的 MySQL 8 数据库模式设计。当用户需要为客户关系管理(CRM)系统设计、评审、优化或生成数据库模式时,应使用此项技能。

下载
  • 必须使用单调递增且不重复的字段做书签,id(自增主键)最稳妥;create_time 需加 microsecond 或联合唯一约束,否则并发写入可能产生相同时间戳
  • 排序方向必须与 WHERE 条件严格一致:ORDER BY id ASC 对应 WHERE id > last_id;ORDER BY create_time DESC 对应 WHERE create_time
  • 复合排序场景(如 ORDER BY status, create_time DESC)需用元组比较:WHERE (status, create_time) ,MySQL 8.0 支持该语法,但索引必须是 (status, create_time)
  • 前端传参必须校验:last_id 不能为空、不能为负、不能是非数字字符串,否则可能触发全表扫描

为什么不能混用延迟关联 + 书签法

有人试图写成 SELECT t.* FROM t JOIN (SELECT id FROM t WHERE id > ? ORDER BY id LIMIT 10) tmp ON t.id = tmp.id,这看似“双保险”,实则破坏了书签法的 O(1) 复杂度。

  • 子查询里的 WHERE id > ? 已经能精准定位起始位置,再套一层 LIMIT 100000, 10 是冗余的,反而让优化器放弃使用索引范围扫描,降级为全索引扫描
  • EXPLAIN 会显示 type=range 变成 type=index,key_len 从 8 变成 0,意味着没用上索引的有效长度
  • 真实压测中,这种写法比纯书签法慢 3–5 倍,因为多了一次索引遍历和临时结果集构建
  • 正确做法是二选一:高并发、不允许跳页 → 书签法;需支持跳页、数据无单调字段 → 延迟关联

真正难处理的不是第 100 万页怎么查得快,而是如何让前端不发 page=100000 这种请求——游标 token 和接口限流比任何 SQL 优化都管用。MySQL 8.0 再强,也救不了被滥用的分页语义。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

mysql 性能瓶颈

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4763

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

971

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1249

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6781

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3483

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6760

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

9361

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1270

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1112

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 194人学习