搜索
首页后端开发php教程请教大家关于php for循环中的 大数据量处理时自动exit的问题

<code>        /**
         * @function getSplitCache 对excelId基础数据进行分片缓存
         * @param type $excelId  excel文件id tax_excel的id
         * @param type $beforeAndAfterInsertid  details_excel  插入前后的id
         * @return 无  统一excel的缓存文件标准为: EXCEL_ID_NUM 
         */
        public function getSplitCache($excelId, $beforeAndAfterInsertid){
            processTip( '100%', 'Excel数据分片开始.....................');
            $where['id']        = array('gt', $beforeAndAfterInsertid['beforeId']); 
            $where['excel_id']   = array('eq', $excelId);        //是否可能存在两个表同时插入情况,如果无可省略此项
            $allExcelData =  $this->modelDetailsExcel->where($where)->group('nsrsbh,id')->select();
            $totalNum   = count($allExcelData);
            $this->_setAllRow($totalNum);
//            $interval = ceil( ($beforeAndAfterInsertid[1]-$beforeAndAfterInsertid[0])/$this->excelDataCacheNum);//多个人同时出现操作插入文件是可能错误
            $interval = ceil($totalNum/$this->excelDataCacheNum);
            for($i = 0; $iexcelDataCacheNum; $i++ ){
                $excelData[$i] = array_slice($allExcelData, $i*$interval, $interval);
            }
            unset($allExcelData);
            //1一个在开头一个在结尾利用时间差可以不再细分
            //2必须分在一起以下为分在一起的
            $i = 0;
            for($i;  $iexcelDataCacheNum-1;  $i++ ){
                if($excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][0]['nsrsbh']){
                    $j = 0;

                    while( $excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][$j]['nsrsbh']){
                        $excelData[$i][] = $excelData[$i+1][$j++];
                        P($j);
                    }
                    array_splice($excelData[$i+1], 0, $j);
                }
                //输出前台展示进度
                processTip( ($i/$this->excelDataCacheNum*100), 'Excel数据分片'.$i.'.....................');
                //Thinkphp的F缓存方法 指定位置和名称
                F('Excel_'.$excelId.'/'.$i , $excelData[$i]); 
            }
            F('Excel_'.$excelId.'/'.   $i , $excelData[$i]);
            processTip( '100%', 'Excel数据分片结束.....................');
            return  $this->excelDataCacheNum;
        }
</code>

基本原理是 将数据库数据按照nsrsbh 和 id排序 读取出来,然后将数据按照分片数据 分割指定数目的文件(用于前台ajax请求,模拟多线程操作,js发送请求后端接收后处理传过来的数据分片的文件name,然后处理改文件内的数据)
系统环境 apche php 分配的memoryliimit win(win10 64bit 4G内存)为2g linux(ubuntu14.04 64位 8g内存)为4g
经过测试当数据量在3500条时分片1000正常执行。
当数据量在11770条时,linux下和win下开始出现这个问题
到978片缓存生成时就进行不下去,php程序自动跳出 效果如下 然后进程就退出了。
请教大家关于php  for循环中的 大数据量处理时自动exit的问题
当分片为500的时候出现到488 就会卡 然后到了过个2分钟左右才会输出489 然后没有然后了 进程跳出了
请教大家关于php  for循环中的 大数据量处理时自动exit的问题

回复内容:

<code>        /**
         * @function getSplitCache 对excelId基础数据进行分片缓存
         * @param type $excelId  excel文件id tax_excel的id
         * @param type $beforeAndAfterInsertid  details_excel  插入前后的id
         * @return 无  统一excel的缓存文件标准为: EXCEL_ID_NUM 
         */
        public function getSplitCache($excelId, $beforeAndAfterInsertid){
            processTip( '100%', 'Excel数据分片开始.....................');
            $where['id']        = array('gt', $beforeAndAfterInsertid['beforeId']); 
            $where['excel_id']   = array('eq', $excelId);        //是否可能存在两个表同时插入情况,如果无可省略此项
            $allExcelData =  $this->modelDetailsExcel->where($where)->group('nsrsbh,id')->select();
            $totalNum   = count($allExcelData);
            $this->_setAllRow($totalNum);
//            $interval = ceil( ($beforeAndAfterInsertid[1]-$beforeAndAfterInsertid[0])/$this->excelDataCacheNum);//多个人同时出现操作插入文件是可能错误
            $interval = ceil($totalNum/$this->excelDataCacheNum);
            for($i = 0; $iexcelDataCacheNum; $i++ ){
                $excelData[$i] = array_slice($allExcelData, $i*$interval, $interval);
            }
            unset($allExcelData);
            //1一个在开头一个在结尾利用时间差可以不再细分
            //2必须分在一起以下为分在一起的
            $i = 0;
            for($i;  $iexcelDataCacheNum-1;  $i++ ){
                if($excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][0]['nsrsbh']){
                    $j = 0;

                    while( $excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][$j]['nsrsbh']){
                        $excelData[$i][] = $excelData[$i+1][$j++];
                        P($j);
                    }
                    array_splice($excelData[$i+1], 0, $j);
                }
                //输出前台展示进度
                processTip( ($i/$this->excelDataCacheNum*100), 'Excel数据分片'.$i.'.....................');
                //Thinkphp的F缓存方法 指定位置和名称
                F('Excel_'.$excelId.'/'.$i , $excelData[$i]); 
            }
            F('Excel_'.$excelId.'/'.   $i , $excelData[$i]);
            processTip( '100%', 'Excel数据分片结束.....................');
            return  $this->excelDataCacheNum;
        }
</code>

基本原理是 将数据库数据按照nsrsbh 和 id排序 读取出来,然后将数据按照分片数据 分割指定数目的文件(用于前台ajax请求,模拟多线程操作,js发送请求后端接收后处理传过来的数据分片的文件name,然后处理改文件内的数据)
系统环境 apche php 分配的memoryliimit win(win10 64bit 4G内存)为2g linux(ubuntu14.04 64位 8g内存)为4g
经过测试当数据量在3500条时分片1000正常执行。
当数据量在11770条时,linux下和win下开始出现这个问题
到978片缓存生成时就进行不下去,php程序自动跳出 效果如下 然后进程就退出了。
请教大家关于php  for循环中的 大数据量处理时自动exit的问题
当分片为500的时候出现到488 就会卡 然后到了过个2分钟左右才会输出489 然后没有然后了 进程跳出了
请教大家关于php  for循环中的 大数据量处理时自动exit的问题

你去php.ini文件中看看有没有配置最大变量长度的那个设置项,找到它,修改后服务器重启即可。

请教大家关于php  for循环中的 大数据量处理时自动exit的问题
我以前恰好遇到过这个问题

  • 打开 error_reporting
    可在脚本最上方添加

    <code>php</code><code>error_reporing(E_ALL);
    ini_set('display_errors');
    </code>

    监控数据量多的情况下,是不是内存使用超出限制

  • 如果确认是内存溢出
    改造你的程序,降低内存使用
    比如使用generator
    具体根据你的业务,尽量不要取太多数据放入内存
    保证你程序运行的时候不要随着处理数据量的增大而内存也跟着增大
    理想的情况是处理数据量的增长不会导致程序运行内存的暴增

set_time_limit(0),设置超时时间,不是内存的问题可能是超时了

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
超越炒作:评估当今PHP的角色超越炒作:评估当今PHP的角色Apr 12, 2025 am 12:17 AM

PHP在现代编程中仍然是一个强大且广泛使用的工具,尤其在web开发领域。1)PHP易用且与数据库集成无缝,是许多开发者的首选。2)它支持动态内容生成和面向对象编程,适合快速创建和维护网站。3)PHP的性能可以通过缓存和优化数据库查询来提升,其广泛的社区和丰富生态系统使其在当今技术栈中仍具重要地位。

PHP中的弱参考是什么?什么时候有用?PHP中的弱参考是什么?什么时候有用?Apr 12, 2025 am 12:13 AM

在PHP中,弱引用是通过WeakReference类实现的,不会阻止垃圾回收器回收对象。弱引用适用于缓存系统和事件监听器等场景,需注意其不能保证对象存活,且垃圾回收可能延迟。

解释PHP中的__ Invoke Magic方法。解释PHP中的__ Invoke Magic方法。Apr 12, 2025 am 12:07 AM

\_\_invoke方法允许对象像函数一样被调用。1.定义\_\_invoke方法使对象可被调用。2.使用$obj(...)语法时,PHP会执行\_\_invoke方法。3.适用于日志记录和计算器等场景,提高代码灵活性和可读性。

解释PHP 8.1中的纤维以进行并发。解释PHP 8.1中的纤维以进行并发。Apr 12, 2025 am 12:05 AM

Fibers在PHP8.1中引入,提升了并发处理能力。1)Fibers是一种轻量级的并发模型,类似于协程。2)它们允许开发者手动控制任务的执行流,适合处理I/O密集型任务。3)使用Fibers可以编写更高效、响应性更强的代码。

PHP社区:资源,支持和发展PHP社区:资源,支持和发展Apr 12, 2025 am 12:04 AM

PHP社区提供了丰富的资源和支持,帮助开发者成长。1)资源包括官方文档、教程、博客和开源项目如Laravel和Symfony。2)支持可以通过StackOverflow、Reddit和Slack频道获得。3)开发动态可以通过关注RFC了解。4)融入社区可以通过积极参与、贡献代码和学习分享来实现。

PHP与Python:了解差异PHP与Python:了解差异Apr 11, 2025 am 12:15 AM

PHP和Python各有优势,选择应基于项目需求。1.PHP适合web开发,语法简单,执行效率高。2.Python适用于数据科学和机器学习,语法简洁,库丰富。

php:死亡还是简单地适应?php:死亡还是简单地适应?Apr 11, 2025 am 12:13 AM

PHP不是在消亡,而是在不断适应和进化。1)PHP从1994年起经历多次版本迭代,适应新技术趋势。2)目前广泛应用于电子商务、内容管理系统等领域。3)PHP8引入JIT编译器等功能,提升性能和现代化。4)使用OPcache和遵循PSR-12标准可优化性能和代码质量。

PHP的未来:改编和创新PHP的未来:改编和创新Apr 11, 2025 am 12:01 AM

PHP的未来将通过适应新技术趋势和引入创新特性来实现:1)适应云计算、容器化和微服务架构,支持Docker和Kubernetes;2)引入JIT编译器和枚举类型,提升性能和数据处理效率;3)持续优化性能和推广最佳实践。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版