Yii模型查询分库分表:大数据解决方案【进阶】

云婷姑娘_5730

云婷姑娘_5730

2026-08-10

457人浏览

原创

必须手动控制连接选择与结果聚合:配置db_shard_0/db_shard_1多库组件并显式设charset为utf8mb4;order模型中getdb()按user_id取模路由,无分片键时返回null;跨分片时间分页推荐游标分页,避免全局归并内存溢出。

yii模型查询分库分表:大数据解决方案【进阶】

当Yii应用的订单表已按用户ID哈希分片到db_shard1和db_shard2两个数据库,且需支持后台管理员按时间范围跨分片查询全部订单并分页时,必须绕过ActiveRecord默认单库路由,手动控制连接选择与结果聚合。

配置多数据库连接组件

config/web.phpcomponents数组中,定义至少两个独立DB组件,命名需体现分片语义,如db_shard_0db_shard_1;不能复用db主连接,否则路由逻辑将失效。

每个组件必须显式指定charsetutf8mb4,否则中文字段可能出现乱码;tablePrefix可统一设为空字符串,避免分片表名被意外拼接前缀。

连接参数中的host必须指向真实分片数据库IP,不可使用localhost——本地回环会强制走同一台物理机,彻底失去分库意义。

重写模型的getDb()实现动态路由

在订单模型Order.php中,覆盖父类getDb()方法,根据当前查询条件返回对应DB组件实例。

若查询含user_id条件,直接按$user_id % 2取模,返回Yii::$app->get('db_shard_' . ($user_id % 2));这是最轻量的单分片路由,性能无损。

若查询不含分片键(如后台查所有订单),则必须返回null,强制后续查询抛出异常——【禁止在此处返回任意一个固定分片连接】,否则将漏查数据,且错误静默难以定位。

跨分片时间分页查询的两种落地方式

方法一:应用层全局归并(适合页码≤50)

Yii Framework 2.0.51
Yii Framework 2.0.51

Yii Framework 2.0.51 官方 Basic 应用模板,适合旧项目兼容、升级验证和开发测试。

下载

第一步:构造分片独立SQL,对每个分片执行SELECT * FROM order_2026 WHERE created_at BETWEEN ? AND ? ORDER BY created_at DESC LIMIT 0,100(取前100条,因需合并后截取第2页10条)。

第二步:用PHP的array_merge()合并所有分片结果集,再用usort()created_at全局降序重排。

第三步:用array_slice($merged, 10, 10)截取第2页数据。注意:内存中排序会消耗显著CPU,单次请求数据量超5万行易触发PHP内存限制。

方法二:基于最大时间戳的游标分页(推荐用于生产)

首次查询第1页:执行SELECT * FROM order_2026 ORDER BY created_at DESC LIMIT 10,记录返回结果中最小的created_at值(即最后一条的时间戳)。

后续翻页:将上一页最后的时间戳作为游标,执行SELECT * FROM order_2026 WHERE created_at ;该SQL需在每个分片上并行执行,结果合并后无需二次排序,直接取满10条即止。

这一步必须确保created_at字段有B-tree索引,否则WHERE条件将触发全表扫描,性能比传统offset分页更差。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

yii模型查询 大数据 yii

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

8984

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

5461

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

1995

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

3388

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

4054

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

3171

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

4497

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

3502

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

11562

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 169人学习

大数据(MySQL)视频教程完整版
大数据(MySQL)视频教程完整版

共200课时 | 26.8万人学习

PHP会话控制/文件上传/分页技术
PHP会话控制/文件上传/分页技术

共22课时 | 2.8万人学习