比如数据库有300000条数据 现在根据条件查询符合的有30000条数据 一次取太多了可能慢或者其他问题 我想每次取10000 三次取完 这只是个例子 应该怎么实现啊?用递归吗?
告知下 谢谢!!!
还有就是如果查俩张表的数据 合并在一起 还有办法排序吗根据某个字段?
回复内容:
比如数据库有300000条数据 现在根据条件查询符合的有30000条数据 一次取太多了可能慢或者其他问题 我想每次取10000 三次取完 这只是个例子 应该怎么实现啊?用递归吗?
告知下 谢谢!!!
还有就是如果查俩张表的数据 合并在一起 还有办法排序吗根据某个字段?
谢邀,对于数据量较大的结果集,我目前一般采用以下两种方式处理。采用这两种方式处理的目的就是:一是减少数据集获取时带宽资源的占用,二是减少程序对结果集处理时内存的使用。
分块,就是题主的思路
<code>$sql = 'SELECT xxx FROM table WHERE xxx LIMIT limit :limit offset :offset'; $limit = 10000; $offset = 0; do{ $stmt = $dbh->prepare($sql, array(PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY)); $stmt->execute(array(':limit' => $limit, ':offset' => $offset)); $data = $stmt->fetchAll(); // 处理逻辑 $offset += $limit; }while(count($data));</code>
游标,按行读取返回
<code>$sql = 'SELECT xxx FROM table WHERE xxx'; $stmt = $dbh->prepare($sql, array(PDO::ATTR_CURSOR => PDO::CURSOR_SCROLL)); $stmt->execute(); $row = $stmt->fetch(PDO::FETCH_NUM, PDO::FETCH_ORI_LAST); do { // 处理逻辑 $row } while ($row = $stmt->fetch(PDO::FETCH_NUM, PDO::FETCH_ORI_PRIOR));</code>
个人建议当你要查找后面的分块的时候,用where
条件而不是直接limit 100000 , 100000
:
二者区别举例如下:
<code>//这个是第一种,取第20w开始的10w条数据 select * from table limit 100000 , 100000 order by id //这是第二种取法 select * from table where id > 100000 limit 100000 order by id 因为mysql用limit越往后,排序之后取后面的越慢</code>
直接通过sql语句就能搞定呀,不需要后台处理;可以排序呀,根据你指定字段order by
就行了
连表查询
例如:SELECT a.* from tableA as a, tableB as b where a.id = b.id order by a.id desc limit 0,10000";
你可以先select count(1) from table where 条件。看看一共有多少数据。大于N条的时候,
你再select * from table limit m,n
分页查询
2张表的话就select * from table1 union all select * form table2 order by 某个字段
。注意查询的列数量要一样。最好类型也一样
假设表id均匀分布的情况下,可以利用ID的区间来分段查询数据
//每次计划读取的数据条数 $max_per_size = 10000; //找到符合条件的最小ID和最大ID $sql = "SELECT min(id),max(id) AS max_id AS num FROM `table` WHERE xx='xx'"; $stmt = $pdo->prepare($sql); $stmt->execute(); $res = $stmt->fetch(PDO::FETCH_ASSOC); //符合条件的最大ID $max_id = $res['max_id']; //符合条件的最小ID $min_id = $res['min_id']; $times = ceil(($max_id - $min_id + 1) / $max_per_size); //第一次的ID区间 $current_min_id = $min_id; $current_max_id = $min_id + $max_per_page; for($i = 0; $i<$times; $i++) { //生成SQL语句 $sql = "SELECT * FROM `table` WHERE xx='xx' AND (id>= {$current_min_id} AND id <= {$current_max_id})"; //得到数据之后的操作 //......... //重新计算下一次的ID区间 $current_min_id = $current_max_id + 1; $current_max_id = $current_max_id + $max_per_page; if ($current_max_id > $max_id) { $current_max_id = $max_id; } }

aphpdepentioncontiveContainerIsatoolThatManagesClassDeptions,增强codemodocultion,可验证性和Maintainability.itactsasaceCentralHubForeatingingIndections,因此reducingTightCightTightCoupOulplingIndeSingantInting。

选择DependencyInjection(DI)用于大型应用,ServiceLocator适合小型项目或原型。1)DI通过构造函数注入依赖,提高代码的测试性和模块化。2)ServiceLocator通过中心注册获取服务,方便但可能导致代码耦合度增加。

phpapplicationscanbeoptimizedForsPeedAndeffificeby:1)启用cacheInphp.ini,2)使用preparedStatatementSwithPdoforDatabasequesies,3)3)替换loopswitharray_filtaray_filteraray_maparray_mapfordataprocrocessing,4)conformentnginxasaseproxy,5)

phpemailvalidation invoLvesthreesteps:1)格式化进行regulareXpressecthemailFormat; 2)dnsvalidationtoshethedomainhasavalidmxrecord; 3)

tomakephpapplicationsfaster,关注台词:1)useopcodeCachingLikeLikeLikeLikeLikePachetoStorePreciledScompiledScriptbyTecode.2)MinimimiedAtabaseSqueriSegrieSqueriSegeriSybysequeryCachingandeffeftExting.3)Leveragephp7 leveragephp7 leveragephp7 leveragephpphp7功能forbettercodeefficy.4)

到ImprovephPapplicationspeed,关注台词:1)启用opcodeCachingwithapCutoredUcescriptexecutiontime.2)实现databasequerycachingusingpdotominiminimizedatabasehits.3)usehttp/2tomultiplexrequlexrequestsandredececonnection.4 limitsclection.4.4

依赖注入(DI)通过显式传递依赖关系,显着提升了PHP代码的可测试性。 1)DI解耦类与具体实现,使测试和维护更灵活。 2)三种类型中,构造函数注入明确表达依赖,保持状态一致。 3)使用DI容器管理复杂依赖,提升代码质量和开发效率。

databasequeryOptimizationinphpinvolVolVOLVESEVERSEVERSTRATEMIESOENHANCEPERANCE.1)SELECTONLYNLYNESSERSAYCOLUMNSTORMONTOUMTOUNSOUDSATATATATATATATATATATRANSFER.3)


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

EditPlus 中文破解版
体积小,语法高亮,不支持代码提示功能

PhpStorm Mac 版本
最新(2018.2.1 )专业的PHP集成开发工具

SublimeText3 Linux新版
SublimeText3 Linux最新版

WebStorm Mac版
好用的JavaScript开发工具

ZendStudio 13.5.1 Mac
功能强大的PHP集成开发环境