千万级数据分页应避免LIMIT OFFSET,推荐主键子查询+JOIN、游标分页、复合索引优化及Redis缓存四策。

直接用 ActiveDataProvider 对千万级数据做 LIMIT OFFSET 分页,响应会越来越慢——不是 Yii2 的问题,而是 MySQL 在大偏移量时必须扫描跳过大量行。要真正“流畅”,得绕开传统分页逻辑,用更底层、更可控的方式。
用子查询先取主键再关联查全字段
这是 Yii2 里最实用、改动最小的秒级分页方案。核心思想是:不查整行,只用主键排序+分页,再用这些主键去查完整数据。
- 子查询只查
id字段,带WHERE和ORDER BY,走索引快如闪电 - 外层用
JOIN或IN关联原表,避免OFFSET扫描 - Yii2 支持原生子查询构建,无需手写 SQL 字符串
示例代码:
$subQuery = User::find()->select('id')->where(['status' => 1])->orderBy('id');
$count = $subQuery->count();
$pagination = new Pagination(['totalCount' => $count, 'pageSize' => 20]);
$subQuery->offset($pagination->offset)->limit($pagination->limit);
$query = User::find()
->select('*')
->from(['t1' => User::tableName(), 't2' => $subQuery])
->where('t1.id = t2.id');
$dataProvider = new ActiveDataProvider([
'query' => $query,
'pagination' => $pagination,
]);
强制走主键或有序索引字段分页
放弃“第 N 页”这种语义,改用“大于上一页最后 ID”的游标式分页(Cursor-based Pagination),彻底消除 OFFSET。
- 适合时间线、订单列表、日志等天然有序场景
- 请求带
last_id=12345,SQL 变成WHERE id > 12345 ORDER BY id LIMIT 20 - 响应稳定,不受总数据量影响,且天然支持正向翻页
在控制器中可这样处理:
$lastId = Yii::$app->request->get('last_id', 0);
$query = User::find()
->where(['>', 'id', $lastId])
->orderBy('id')
->limit(20);
加复合索引,让排序+条件一步到位
分页慢,90% 是因为没走对索引。尤其当 ORDER BY 和 WHERE 同时存在时,单列索引往往失效。
- 例如:
WHERE status=1 ORDER BY created_at DESC→ 建联合索引(status, created_at) - 若还要支持分页方向切换(升序/降序),注意索引顺序与
ORDER BY严格匹配 - 用
EXPLAIN验证执行计划,确保type=range且key显示用了你的索引
高频分页结果缓存到 Redis
用户翻页行为有强局部性(集中在前几页),把已算好的分页结果缓存起来,比每次查库快几个数量级。
- 用 Redis 有序集合(
ZSET)存主键 + 排序分值,天然支持范围分页(ZRANGE) - 或用哈希结构缓存某页的完整数据数组,key 设为
page:user:list:1:20 - 设置合理过期时间(如 5–10 分钟),配合数据变更时主动删除缓存











