SQL SELECT深度分页为什么变慢以及如何优化?

夏强吖_7964

夏强吖_7964

2026-08-17

513人浏览

原创

根本原因是mysql必须扫描并丢弃前offset行,而非跳过;例如limit 100000,20需读取100020行再丢弃前10万行,若select*触发回表,每丢弃一行都伴随随机i/o,导致cpu和i/o陡增。

sql select深度分页为什么变慢以及如何优化?

深度分页慢的根本原因不是LIMIT,而是OFFSET

执行 SELECT * FROM orders ORDER BY id LIMIT 100000, 20 时,MySQL 并不会“跳到第100001行”,而是:先按索引扫描至少 100020 行,再丢弃前 100000 行,只返回最后 20 行。真正耗时的不是取 20 条,而是扫描并扔掉那 10 万行——尤其是当 SELECT * 触发回表时,每丢弃一行都可能伴随一次随机磁盘 I/O。

常见错误现象包括:接口响应从几十毫秒飙升到数秒、数据库 CPU 和 I/O 使用率陡增、慢查询日志频繁记录同类语句。

  • 排序字段无索引 → 触发 filesort,内存不够时写磁盘,性能断崖式下跌
  • 使用 SELECT * 且索引不覆盖 → 每行都要回主键索引查全字段,放大随机 I/O
  • OFFSET 值由前端传入(如 page=5000&size=20),后端直接算出 OFFSET = (page-1)*size → 无法规避扫描

游标分页(Keyset Pagination)怎么写才不漏数据

核心是用上一页最后一条记录的排序字段值作为下一页的查询起点,彻底绕过 OFFSET。但必须满足两个前提:排序字段有索引、值唯一或组合唯一。

例如第一页:SELECT id, created_at, title FROM posts WHERE status = 1 ORDER BY created_at DESC, id DESC LIMIT 20

假设返回的最后一条是 created_at = '2024-06-01 10:23:45'、id = 98765,第二页就该写成:SELECT id, created_at, title FROM posts WHERE status = 1 AND (created_at

  • 必须用复合条件处理重复值,单靠 created_at 会漏掉同时间戳的其他记录
  • WHERE 中的排序字段条件必须和 ORDER BY 完全一致,否则索引可能失效
  • 前端必须把上一页最后一条的 created_at 和 id 都传回来,不能只传一个
  • 禁止用户输入任意页码(如“跳转到第 892 页”),否则无法生成有效游标

延迟关联(Deferred Join)在MyBatis里怎么安全落地

适用于无法改前端、又必须支持跳页的场景。本质是把“查全字段”拆成两步:先用覆盖索引查 ID,再用这些 ID 关联原表取详情。MyBatis 中需避免子查询里用 LIMIT #{offset}, #{size} —— 因为 MySQL 不允许子查询直接带参数化 LIMIT。

正确写法是用两个 SQL 或动态拼接子查询,例如:

SELECT t1.* FROM posts t1
INNER JOIN (
  SELECT id FROM posts WHERE status = 1 ORDER BY created_at DESC LIMIT 20
) t2 ON t1.id = t2.id

如果业务允许,更稳妥的做法是:先执行 SELECT id FROM ... LIMIT ? 得到 ID 列表,再用 IN 查询详情(注意 IN 参数数量限制,超 1000 个需分批)。

  • 子查询中不能出现 #{offset},MyBatis 会报错;必须由 Java 层计算好 offset 后传入
  • 复合索引要包含 WHERE 和 ORDER BY 字段,例如 INDEX(status, created_at)
  • 若表有千万级数据,IN 的 ID 列表不宜超过 500 个,否则解析和执行计划可能退化

哪些情况游标分页会出错,必须换方案

游标分页不是万能的。当排序字段高频更新(如订单 status 经常变更)、或大量写入导致游标值“漂移”时,用户可能看到重复或丢失数据。此时不能只依赖应用层逻辑。

典型风险场景:

  • 用户 A 翻到第 3 页时,某条记录的 created_at 被后台修改,下次刷新页面可能重复出现或跳过
  • 按 updated_at 排序,但该字段每秒更新数百次 → 游标值很快失效
  • 业务要求支持关键词搜索后跳转任意页码 → 游标链断裂,必须回退到传统分页+覆盖索引

这种情况下,要么加读写分离+一致性快照(如 MySQL 8.0 的 START TRANSACTION WITH CONSISTENT SNAPSHOT),要么引入 Elasticsearch 做分页代理——但要注意 ES 和 DB 的最终一致性延迟。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4143

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

891

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1069

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6041

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2923

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6020

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

8061

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1090

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

952

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习