TP8.0 使用 Cursor 游标遍历千万级数据表【低内存】

落瑶君_8338

落瑶君_8338

2026-07-14

843人浏览

原创

thinkphp 8.0 处理千万级数据必须用 cursor() 实现低内存遍历,要求版本≥8.0.0、主键或索引字段单调递增且非空;需升序排序、禁用 join/with/子查询,分页时通过 next_cursor 手动推进并建议开启签名保护。

tp8.0 使用 cursor 游标遍历千万级数据表【低内存】

ThinkPHP 8.0 处理千万级数据表时,直接用 select() 或 paginate() 会瞬间吃光 PHP 内存,进程被系统 kill;必须用 cursor() 实现低内存逐行遍历,但错一步就漏数据、卡死或报 Cursor value is invalid。

确认环境与前提条件

确保你用的是 ThinkPHP 8.0.0 及以上版本(低于 8.0 的 TP 根本没有 cursor() 方法);数据库表必须有【单调递增且非空的索引字段】,比如自增 id 或带索引的 create_time;该字段不能含 NULL,否则游标起点不可靠。

执行 php think version 验证版本,输出中必须包含 v8.x;检查表结构:DESC your_table,确认 id 字段类型为 BIGINT / INT、Extra 含 auto_increment、Key 含 PRI 或 MUL 索引。

若字段含 NULL 或无索引,cursor() 会静默失效——查着查着就跳段、重复或中断,且不报错。

基础游标遍历(单次全量流式读取)

第一步:调用 cursor(),指定每批拉取条数、游标字段名、起始游标值(首次传 null):

$cursor = Db::name('user_log')->where('status', 1)->order('id', 'asc')->cursor(500, 'id');

这一步必须用 【升序 order('id', 'asc')】,降序不支持;where 条件可加,但不能干扰 id 的单调性(例如禁止 whereRaw('id % 2 = 0'))。

第二步:用 foreach 直接遍历,每轮只加载一行到内存:

foreach ($cursor as $row) { processRow($row); }

注意:$cursor 是 Generator 对象,不能 toArray()、count() 或用 array_ 函数处理,否则整张表数据会强行载入内存。

分页式游标推进(适合后台任务/导出)

方法一:手动提取 next_cursor 并循环请求

首次查询后,结果集末尾自动附带 next_cursor 字段:

ThinkPHP5.1企业站点快速开发-源码课件
ThinkPHP5.1企业站点快速开发-源码课件

ThinkPHP5.1企业站点快速开发

下载

$first = Db::name('user_log')->where('status', 1)->order('id', 'asc')->cursor(500, 'id');

遍历完这批后,从最后一条记录里取出 next_cursor 值(不是 last()['id']!):

$nextCursor = $first->next_cursor ?? null;

下一轮请求带上它:Db::name('user_log')->where('status', 1)->order('id', 'asc')->cursor(500, 'id', $nextCursor);

方法二:开启签名保护(生产环境必开)

在 app.php 配置中添加:'cursor_key' => 'your_strong_secret_here';调用时第四个参数传 true:

Db::name('user_log')->order('id', 'asc')->cursor(500, 'id', null, true);

这样生成的 next_cursor 是 HMAC 签名 Base64 字符串,用户篡改会直接报 Cursor value is invalid 错误。

规避常见崩盘陷阱

不要在 cursor 查询中使用 join、with 或子查询——TP 8.0 的游标逻辑只认主表排序字段,关联后结果顺序无法保证单调,游标值会错乱。

避免在 foreach 循环内修改当前行的 id 值(如 $row['id'] = 999),会导致下一轮游标计算偏移,轻则漏数据,重则无限循环。

如果业务需要按 created_at 降序处理(如查最新日志),不能直接用 cursor();改用 where + order + limit 手动游标分页:->where('create_time', 'order('create_time', 'desc'),并确保 create_time 有联合索引(如 INDEX idx_status_ct (status, create_time))。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

thinkphp

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
marquee参数有哪些
marquee参数有哪些

marquee参数有direction、behavior、speed、scrolldelay、width、height、bgcolor、cursor、id、align、noresize、nohover、loopcount、bgcolorcolor、scrollamount和vspa。

2023.10.18

1540

10

Cursor新手入门教程
Cursor新手入门教程

这是一份为新手量身定制的 Cursor 入门全流程指南。无论你是刚从 VS Code 迁移过来的老手,还是编程小白,这份指南都能帮你快速上手这款“代码自动驾驶仪”。

2026.04.09

113

10

Cursor 核心功能深度解析与实战技巧
Cursor 核心功能深度解析与实战技巧

本专题深度剖析 AI 代码编辑器 Cursor 的核心功能,涵盖 Composer 模式、codebase 索引、实时代码预测(Tab)及 Chat 交互等进阶用法。通过丰富的实战案例,手把手教你如何利用 Cursor 快速构建应用、重构复杂代码及进行自动化 Debug。

2026.04.16

178

10

Cursor 针对不同开发场景的使用教程
Cursor 针对不同开发场景的使用教程

本专题深度拆解 Cursor 在前端 UI 开发、后端重构、数据爬虫及自动化测试等 10+ 核心场景下的具体用法。详解如何针对不同业务场景配置特定的 .cursorrules,让 AI 真正深入你的业务逻辑。

2026.04.16

82

10

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

2026.10.16

0

15

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

2026.10.16

0

15

Revel框架入门与安装配置
Revel框架入门与安装配置

本专题从Revel框架环境搭建讲起,系统介绍命令行工具安装、项目创建、目录结构、配置文件及热代码重载,帮助开发者快速完成首个Go Web应用。

2026.10.16

0

15

Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

2026.10.15

0

20

MySQL 忘记密码怎么办
MySQL 忘记密码怎么办

MySQL忘记密码专题汇集不同版本与系统下的root密码重置方法,覆盖MySQL 5.7、8.0、Mac、Linux及本地集成环境,并提示恢复权限与重新登录的检查步骤。

2026.10.15

0

18

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程