<code> /** * @function getSplitCache 对excelId基础数据进行分片缓存 * @param type $excelId excel文件id tax_excel的id * @param type $beforeAndAfterInsertid details_excel 插入前后的id * @return 无 统一excel的缓存文件标准为: EXCEL_ID_NUM */ public function getSplitCache($excelId, $beforeAndAfterInsertid){ processTip( '100%', 'Excel数据分片开始.....................'); $where['id'] = array('gt', $beforeAndAfterInsertid['beforeId']); $where['excel_id'] = array('eq', $excelId); //是否可能存在两个表同时插入情况,如果无可省略此项 $allExcelData = $this->modelDetailsExcel->where($where)->group('nsrsbh,id')->select(); $totalNum = count($allExcelData); $this->_setAllRow($totalNum); // $interval = ceil( ($beforeAndAfterInsertid[1]-$beforeAndAfterInsertid[0])/$this->excelDataCacheNum);//多个人同时出现操作插入文件是可能错误 $interval = ceil($totalNum/$this->excelDataCacheNum); for($i = 0; $iexcelDataCacheNum; $i++ ){ $excelData[$i] = array_slice($allExcelData, $i*$interval, $interval); } unset($allExcelData); //1一个在开头一个在结尾利用时间差可以不再细分 //2必须分在一起以下为分在一起的 $i = 0; for($i; $iexcelDataCacheNum-1; $i++ ){ if($excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][0]['nsrsbh']){ $j = 0; while( $excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][$j]['nsrsbh']){ $excelData[$i][] = $excelData[$i+1][$j++]; P($j); } array_splice($excelData[$i+1], 0, $j); } //输出前台展示进度 processTip( ($i/$this->excelDataCacheNum*100), 'Excel数据分片'.$i.'.....................'); //Thinkphp的F缓存方法 指定位置和名称 F('Excel_'.$excelId.'/'.$i , $excelData[$i]); } F('Excel_'.$excelId.'/'. $i , $excelData[$i]); processTip( '100%', 'Excel数据分片结束.....................'); return $this->excelDataCacheNum; } </code>
基本原理是 将数据库数据按照nsrsbh 和 id排序 读取出来,然后将数据按照分片数据 分割指定数目的文件(用于前台ajax请求,模拟多线程操作,js发送请求后端接收后处理传过来的数据分片的文件name,然后处理改文件内的数据)
系统环境 apche php 分配的memoryliimit win(win10 64bit 4G内存)为2g linux(ubuntu14.04 64位 8g内存)为4g
经过测试当数据量在3500条时分片1000正常执行。
当数据量在11770条时,linux下和win下开始出现这个问题
到978片缓存生成时就进行不下去,php程序自动跳出 效果如下 然后进程就退出了。
当分片为500的时候出现到488 就会卡 然后到了过个2分钟左右才会输出489 然后没有然后了 进程跳出了
回复内容:
<code> /** * @function getSplitCache 对excelId基础数据进行分片缓存 * @param type $excelId excel文件id tax_excel的id * @param type $beforeAndAfterInsertid details_excel 插入前后的id * @return 无 统一excel的缓存文件标准为: EXCEL_ID_NUM */ public function getSplitCache($excelId, $beforeAndAfterInsertid){ processTip( '100%', 'Excel数据分片开始.....................'); $where['id'] = array('gt', $beforeAndAfterInsertid['beforeId']); $where['excel_id'] = array('eq', $excelId); //是否可能存在两个表同时插入情况,如果无可省略此项 $allExcelData = $this->modelDetailsExcel->where($where)->group('nsrsbh,id')->select(); $totalNum = count($allExcelData); $this->_setAllRow($totalNum); // $interval = ceil( ($beforeAndAfterInsertid[1]-$beforeAndAfterInsertid[0])/$this->excelDataCacheNum);//多个人同时出现操作插入文件是可能错误 $interval = ceil($totalNum/$this->excelDataCacheNum); for($i = 0; $iexcelDataCacheNum; $i++ ){ $excelData[$i] = array_slice($allExcelData, $i*$interval, $interval); } unset($allExcelData); //1一个在开头一个在结尾利用时间差可以不再细分 //2必须分在一起以下为分在一起的 $i = 0; for($i; $iexcelDataCacheNum-1; $i++ ){ if($excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][0]['nsrsbh']){ $j = 0; while( $excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][$j]['nsrsbh']){ $excelData[$i][] = $excelData[$i+1][$j++]; P($j); } array_splice($excelData[$i+1], 0, $j); } //输出前台展示进度 processTip( ($i/$this->excelDataCacheNum*100), 'Excel数据分片'.$i.'.....................'); //Thinkphp的F缓存方法 指定位置和名称 F('Excel_'.$excelId.'/'.$i , $excelData[$i]); } F('Excel_'.$excelId.'/'. $i , $excelData[$i]); processTip( '100%', 'Excel数据分片结束.....................'); return $this->excelDataCacheNum; } </code>
基本原理是 将数据库数据按照nsrsbh 和 id排序 读取出来,然后将数据按照分片数据 分割指定数目的文件(用于前台ajax请求,模拟多线程操作,js发送请求后端接收后处理传过来的数据分片的文件name,然后处理改文件内的数据)
系统环境 apche php 分配的memoryliimit win(win10 64bit 4G内存)为2g linux(ubuntu14.04 64位 8g内存)为4g
经过测试当数据量在3500条时分片1000正常执行。
当数据量在11770条时,linux下和win下开始出现这个问题
到978片缓存生成时就进行不下去,php程序自动跳出 效果如下 然后进程就退出了。
当分片为500的时候出现到488 就会卡 然后到了过个2分钟左右才会输出489 然后没有然后了 进程跳出了
你去php.ini
文件中看看有没有配置最大变量长度的那个设置项,找到它,修改后服务器重启即可。
我以前恰好遇到过这个问题
-
打开 error_reporting
可在脚本最上方添加<code>php</code><code>error_reporing(E_ALL); ini_set('display_errors'); </code>
监控数据量多的情况下,是不是内存使用超出限制
如果确认是内存溢出
改造你的程序,降低内存使用
比如使用generator
具体根据你的业务,尽量不要取太多数据放入内存
保证你程序运行的时候不要随着处理数据量的增大而内存也跟着增大
理想的情况是处理数据量的增长不会导致程序运行内存的暴增
set_time_limit(0),设置超时时间,不是内存的问题可能是超时了

PHP在现代编程中仍然是一个强大且广泛使用的工具,尤其在web开发领域。1)PHP易用且与数据库集成无缝,是许多开发者的首选。2)它支持动态内容生成和面向对象编程,适合快速创建和维护网站。3)PHP的性能可以通过缓存和优化数据库查询来提升,其广泛的社区和丰富生态系统使其在当今技术栈中仍具重要地位。

在PHP中,弱引用是通过WeakReference类实现的,不会阻止垃圾回收器回收对象。弱引用适用于缓存系统和事件监听器等场景,需注意其不能保证对象存活,且垃圾回收可能延迟。

\_\_invoke方法允许对象像函数一样被调用。1.定义\_\_invoke方法使对象可被调用。2.使用$obj(...)语法时,PHP会执行\_\_invoke方法。3.适用于日志记录和计算器等场景,提高代码灵活性和可读性。

Fibers在PHP8.1中引入,提升了并发处理能力。1)Fibers是一种轻量级的并发模型,类似于协程。2)它们允许开发者手动控制任务的执行流,适合处理I/O密集型任务。3)使用Fibers可以编写更高效、响应性更强的代码。

PHP社区提供了丰富的资源和支持,帮助开发者成长。1)资源包括官方文档、教程、博客和开源项目如Laravel和Symfony。2)支持可以通过StackOverflow、Reddit和Slack频道获得。3)开发动态可以通过关注RFC了解。4)融入社区可以通过积极参与、贡献代码和学习分享来实现。

PHP和Python各有优势,选择应基于项目需求。1.PHP适合web开发,语法简单,执行效率高。2.Python适用于数据科学和机器学习,语法简洁,库丰富。

PHP不是在消亡,而是在不断适应和进化。1)PHP从1994年起经历多次版本迭代,适应新技术趋势。2)目前广泛应用于电子商务、内容管理系统等领域。3)PHP8引入JIT编译器等功能,提升性能和现代化。4)使用OPcache和遵循PSR-12标准可优化性能和代码质量。

PHP的未来将通过适应新技术趋势和引入创新特性来实现:1)适应云计算、容器化和微服务架构,支持Docker和Kubernetes;2)引入JIT编译器和枚举类型,提升性能和数据处理效率;3)持续优化性能和推广最佳实践。


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

MinGW - 适用于 Windows 的极简 GNU
这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。

记事本++7.3.1
好用且免费的代码编辑器

Dreamweaver Mac版
视觉化网页开发工具

SublimeText3 Linux新版
SublimeText3 Linux最新版