PHP数据库分页偏移量大的性能优化方案

梦丽大大_4018

梦丽大大_4018

2026-10-13

515人浏览

原创

limit offset, size在大数据量下会变慢,因为mysql需逐行扫描并丢弃前offset行,无法跳转定位,导致i/o和cpu压力随offset线性增长;应改用基于排序字段的游标分页(如where id > ?)替代。

php数据库分页偏移量大的性能优化方案

偏移量超过 10 万后,LIMIT offset, size 查询基本不可用——MySQL 必须扫描并丢弃前 offset 行,CPU 和 I/O 压力陡增,PHP 进程常因超时中断。

为什么 LIMIT offset, size 在大数据量下会变慢

MySQL 执行 LIMIT 99900, 20 时,并不会“跳到第 99900 行”,而是从头开始逐行扫描、计数、过滤,直到凑够 99900 条才开始取后面 20 条。即使有索引,只要 ORDER BY 字段和 WHERE 条件无法被同一复合索引覆盖,优化器仍可能退化为全索引扫描。

  • EXPLAIN 显示 type = index 或 rows 接近表总行数,就是典型征兆
  • 并发稍高时,这类查询容易堆积,拖垮整个数据库连接池
  • PHP 层做再多缓存或异步也无济于事,瓶颈在 SQL 执行阶段

改用 WHERE id > ? 游标分页(推荐首选)

前提是排序字段唯一、非空、有索引(如自增 id 或带索引的 created_at),且只用于“下一页”连续翻页场景。

DrugBank 数据库
DrugBank 数据库

访问并分析来自 DrugBank 数据库的全面药物信息,包括药物属性、相互作用、靶点、通路、化学结构和药理学数据。用于药物数据、药物发现研究、药理学研究、药物-

下载
  • 第一页查:SELECT * FROM posts ORDER BY id ASC LIMIT 20,拿到最后一条的 id = 12345
  • 下一页查:SELECT * FROM posts WHERE id > 12345 ORDER BY id ASC LIMIT 20
  • 上一页需反向查:SELECT * FROM posts WHERE id ,结果再用 PHP <code>array_reverse() 调整顺序
  • 游标值必须 URL-safe 编码(如 base64_encode),避免直接暴露主键或时间戳精度

延迟关联优化深分页(兼容跳页需求)

当业务强制要求支持「跳转任意页码」(如后台导出第 5000 页),又无法改造成游标模式时,用两层查询减少回表开销:

  • 内层只查主键:SELECT id FROM posts ORDER BY created_at DESC LIMIT 99900, 20(仍慢,但只返回整数,IO 少)
  • 外层用这些 ID 回表:SELECT * FROM posts WHERE id IN (123, 456, ...)
  • 更稳妥写法是 JOIN:SELECT p.* FROM posts p INNER JOIN (内层子查询) tmp ON p.id = tmp.id
  • 注意:该方式在 MySQL 5.7+ 效果明显,但若子查询返回 ID 数量过大(如 > 1000),IN 可能退化,此时应分批处理

COUNT(*) 总数查询必须绕开

对千万级表执行 SELECT COUNT(*) FROM huge_table 不是慢的问题,是根本不能放在线上接口里跑——它可能锁表、阻塞写入、触发慢日志告警。

  • 前端只需知道“是否有下一页”:改用 SELECT 1 FROM table WHERE ... ORDER BY id LIMIT 21,查到 21 条就说明还有下一页,否则没有
  • 总数显示可降级为估算值:读 SHOW TABLE STATUS LIKE 'table_name' 的 table_rows(InnoDB 是粗略值,误差 ±10%)
  • 严格需要精确总数的场景,必须用单独计数表或 Redis,由写操作(INSERT/DELETE)同步维护,而非每次查

游标分页看似限制了跳页能力,但真实用户极少手动翻到第 5000 页;而爬虫或导出类请求,本就不该走 Web 分页接口——应单独提供流式导出 API,用游标 + 持久化 cursor token 处理。最容易被忽略的是:游标值未校验合法性(比如传入负数 id 或非法 base64),会导致空结果或 SQL 报错,必须在 PHP 层 decode 后做基础类型与范围检查。

php免费学习视频:立即使用
踏上前端学习之旅,开启通往精通之路!从前端基础到项目实战,循序渐进,一步一个脚印,迈向巅峰!

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

10564

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

6201

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

2115

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

3908

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

4614

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

3631

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

5177

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

4062

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

12002

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP数据库编程-MySQLi/PDO
PHP数据库编程-MySQLi/PDO

共11课时 | 1.4万人学习

PHP数据库编程零基础入门到精通
PHP数据库编程零基础入门到精通

共112课时 | 44.6万人学习

《20天入门精通PHP》视频教程
《20天入门精通PHP》视频教程

共200课时 | 48.5万人学习