最近做一个导入大文件,因为涉及到要对文件处理得到需要的结构的数据。
把大量数据保存在数组中。
在处理的过程中,消耗很大内存,不是memory_limit设置问题,我已经设置足够大。
处理过程中自己也有unset掉不要的。但是通过memory_get_usage()输出函数调用前跟调用后的内存对比。
发现函数调用后,内存并没有明显的下降。那些大数组都已经unset掉了。也是一样。
如果导入的文件量不大,不会出现内存溢出的错误提示。但是当文件大到一定程度。就因为执行过程中,
函数调用完,内存还是占用很大。而导致内存溢出。
这个让我有点郁闷了。函数调用完不是都释放了局部变量空间了吗?
是不是什么内存泄露,有人遇到相同问题吗。希望有遇到相同问题的或者有人知道的。一起来讨论下。谢谢。
ps:分数蛮少的,只能这样了。
回复讨论(解决方案)
unset()的是数组还是数组元素?
还有,函数中使用的数组是局部变量还是全局变量?
还有,函数中使用的数组是局部变量还是全局变量?
嗯 这些我都考虑了
unset是数组
我也知道 函数里unset()全局变量
只是消除函数里面那个临时变量
我都有把全局$GLOBALS 变量给unset
还是如此
以前做的东西没出过类似问题,因为之前没处理过这样大的数据。
现在遇到这样的问题,让我重新思考这个问题。
今天还看了 PHP内存管理的原理了
不知道是否有人也遇到过
代码。。。
代码。。。
代码太长了,我贴一个函数吧
function importTestSuiteFormArray1($db,$parentID,$tproject_id,$userID,$duplicateLogic,&$testsuiteArray,&$testcaseArray){ global $productIndex; $unexistPF = array();//用于存放当前项目中没有的excel文件存在的平台 $produceRelFB = array(); $resultMap = null; $tsResult = null;//测试套件导入结果 $tables = tlObject::getDBTables("platforms"); $pfSql = " select id,name from ".$tables['platforms']." where testproject_id=$tproject_id"; $pfRe = $db->fetchColumnsIntoMap($pfSql,"id","name"); $pfRe = is_null($pfRe) ? array() : $pfRe; foreach($productIndex as $vKey=>$pItem){ if(!in_array($vKey, $pfRe)){ $unexistPF[] = $vKey; } }// $memory1 = memory_get_usage();// $fileName = date("md-His");// $hand = fopen("e:/testcase/".$fileName.".txt","a+");// $bTime = microtime_float(); $tempTSArray = array(); $createSuc = "创建成功。"; $updateSuc = "更新成功。"; if(is_array($testsuiteArray) && count($testsuiteArray)>0){ foreach($testsuiteArray as $key=>$tsItem){// $begin = microtime_float(); if ($tsItem['name'] != "") { if($tsItem['parentNum']==0){ $parID = $parentID; }else{ $parID = $tempTSArray[$key]['parentID']; } $tsuiteMgr = new testsuite($db); $info = $tsuiteMgr->get_by_name($tsItem['name'],$parID); if( is_null($info) ) { $ret = $tsuiteMgr->create($parID,$tsItem['name'],"",$tsItem['node_order']); $tsuiteID = $ret['id']; $tsResult[] = array($tsItem['name'],$createSuc); } else { $tsuiteID = $info[0]['id']; $ret = $tsuiteMgr->update($tsuiteID,$tsItem['name'],"",null,$tsItem['node_order']); $tsResult[] = array($tsItem['name'],$updateSuc); } if(is_array($tsItem['children']) && count($tsItem['children'])>0){ foreach($tsItem['children'] as $val){ $tempTSArray[$val]['parentID'] = $tsuiteID; } } }// $end = microtime_float();// fwrite($hand, "每条规约用时:".($end-$begin)."\r\n"); } }// echo "testsuiteArray前".memory_get_usage()."<br>"; $testsuiteArray = null;// echo "testsuiteArray后".memory_get_usage()."<br>"; $GLOBALS['testsuiteArray']=null;// echo "全局testsuiteArray后".memory_get_usage()."<br>"; if(is_array($testcaseArray) && count($testcaseArray)>0){ $tcData = array();// $begin = microtime_float(); $flag = 0; foreach ($testcaseArray as $key=>$tsItem){ if($tsItem['parentNum']==0){ $parID = $parentID; }else{ $parID = $tempTSArray[$key]['parentID']; } $tcData[$flag] = array( "name"=>$tsItem['name'], "node_order"=>$tsItem['order'], "parentID"=>$parID ) ; if(is_array($tsItem['property']) && count($tsItem['property'])>0){ foreach($tsItem['property'] as $pKey=>$val){ $tcData[$flag][$pKey] = $val; } } if(is_array($tsItem['custom_fields']) && count($tsItem['custom_fields'])>0){ foreach($tsItem['custom_fields'] as $cfName=>$cfValue){ $tcData[$flag][customfields][] = array("name"=>$cfName,"value"=>$cfValue); } } if(is_array($tsItem['srs']) && count($tsItem['srs'])>0){ $tcData[$flag]['srs'] = $tsItem['srs']; } if(is_array($tsItem['produce']) && count($tsItem['produce'])>0){ $tcData[$flag]['produce'] = $tsItem['produce']; } $flag++; }// $end = microtime_float();// fwrite($hand, "循环用例时间:".($end-$begin)."\r\n");// echo "testcaseArray前".memory_get_usage()."<br>"; $testcaseArray = null;// echo "testcaseArray后".memory_get_usage()."<br>"; $GLOBALS['testcaseArray']=null;// echo "全局testcaseArray后".memory_get_usage()."<br>"; $tempTSArray = null;// echo "tempTSArray后".memory_get_usage()."<br>"; if(is_array($tcData) && count($tcData)>0){// $begin = microtime_float(); $resultMap = saveImportedTCData1($db,$tcData,$tproject_id,$userID,null,$duplicateLogic,$produceRelFB,$pfRe); $tcData = null;// echo "tcData后".memory_get_usage()."<br>";// $memory2 = memory_get_usage();// $end = microtime_float();// fwrite($hand, "保存用例总时间:".($end-$begin)."\r\n");// fwrite($hand, "总用时:".($end-$bTime)."\r\n");// fwrite($hand, "内存消耗:".($memory2-$memory1)."\r\n"); } } $return = array("resultMap"=>$resultMap,"tsResult"=>$tsResult,"unexistPF"=>$unexistPF,"produceRel"=>$produceRelFB); return $return;// return $resultMap; }
我说明下:$testsuiteArray和$testcaseArray是分析文件,得到的数组。两个数组可能有几十M或者上百M。
现在问题不是想说数组太大,可以采用别的方法目的。问题出在我调用完这个函数,和这个函数里面的saveImportedTCData1函数,调用完saveImportedTCData1 内存也没有明显降低。我试过把所有返回结果跟那些引用的变量都销毁,内存还是占用很大,最终导致溢出了。这样看代码估计很累,谢谢了。
木有人。。。
可以参考
http://www.laruence.com/2011/03/04/1894.html
可以参考
http://www.laruence.com/2011/03/04/1894.html
哈哈,这篇我看过也研究过博主说的。
它说被符号表占了。那我是想符号表占的如何释放。
我正在问那个博主。谢谢你的回复
文件分析后,数组占用了20M
然后数据库操作,这里涉及的操作很多。
执行完后内存比最开始的大接近1G
这样的结果是不是有什么异常啊。
在处理过程中有把 没必要的数据都unset了。
其实经过仔细分析
那些数组在调用完以后都有释放。
那调用完以后为什么会占用那么大内存?
因为数据库的大量操作?
- -
正想问得问题,,3Q
5000个数组,每个数组里面还有的信息较多。
执行了17W多的数据库操作,和40多秒的数据库执行时间
采用循环操作。
每执行完一个数组的操作内存逐渐增加。
照理说每次循环用到得局部变量都一样。
只有保存数据库操作结果的数组有增加,可是它的增加的量小。
不可能需要那么大的内存。
那这些额外的内存占用从哪里来呢?
直到该函数调用完。这些内存空间都没释放,这是为什么呢?
why?why?why?
遇到这个瓶颈让我很苦恼。
经验丰富
很有成就的大哥大叔们
那多出来的内存怎么来的呢?
HELP。。。。。
你试试,释放下数据库连接试试,可能被数据库操作占用了。
你试试,释放下数据库连接试试,可能被数据库操作占用了。
数据库释放了也一样。
这中间的操作导致了 内存泄露了吗?
有人遇到这样的情况吗
我以前碰到过的情况是create_function有内存泄漏,但你这里没有用
这个大概只能自己慢慢调了,
你装xdebug里面有几个功能可以帮助分析内存
我要炸了- -
想太多了
你需要检查一下承载返回值的 $return 所占的空间
你需要检查一下承载返回值的 $return 所占的空间
返回值 $return 被unset了
还是占用很大
$resultMap=saveImportedTCData1($db,$tcData,$tproject_id,$userID,null,$duplicateLogic,$produceRelFB,$pfRe);
在这个函数调用前后的内存差别很大。
我把返回结果$resultMap,$tcData,和$produceRelFB等有关联的数据都unset,还是一样。
函数调用完不是释放完它执行时所分配的所有临时空间吗。怎么会这样子。想不通啊。那块内存哪去了?where are you- -
你去看下php的垃圾回收机制吧。
你去看下php的垃圾回收机制吧。
这个早在我是学生时代就了解java gc
php gc也早就了解了跟java很像的机制。
我现在是觉得不是这些问题
我觉得应该深入php内核 研究下php内存分配机制
使用xdebug 只有执行实现 没有内存情况
我用WinCacheGrind .exe 查看的
还是我没找到- -
如果没有处理过这样大的数据
跟这么多次的数据库操作
在一般系统上还碰不到这些问题
这样功能到不是会常用
但是作为一个管理工具
有时候就是要执行这么几次大数据的处理
我想这个东西解决了
应该又是一次成长 会更加注意效率 还有其他问题
一定要解决
感觉好孤单 一个人自言自语- -
你的这个函数中还调用了其他自定义函数,也还实例化了自定义类,这些都有可能产生问题
你得一个一个排查
那就检查一下这个函数saveImportedTCData1,看看是不是因为他内部的问题
另外如果是从数据库中获取数据,记录集资源有没有被释放……
谢谢楼上两位回答。
自定义类 还有函数没错
其实最大问题saveImportedTCData1 在这个函数。
我把这个函数产生的所有输出都给释放掉了了。
即使是释放完了 通过meomory_get_usage()输出的内存占用依然是调用这个函数之前内存调用的n倍
大概多了一个数量级。
我看我还是检查下这个函数
话说xdebug 能通过WinCacheGrind 查看内存消耗吗
我没看到有查看内存的
再次向回答人说谢谢
ps:其实如果百度跟谷歌能找到我要的答案我一般不会问。我发现我问的问题大多数没有得到想要答案。能跟大家交流沟通也学习很多。再努力找原因。
?????。
自己排查吧,这个外人真帮不上什么忙,特别是你的saveImportedTCData1怎么写的都不知道。
加下引用传递再测试一下,可能是因为你函数里有一次变量分离的,而变量本身又很大的缘故。
$resultMap=saveImportedTCData1($db, &$tcData,$tproject_id,$userID,null,$duplicateLogic, &$produceRelFB,$pfRe);
自己排查吧,这个外人真帮不上什么忙,特别是你的saveImportedTCData1怎么写的都不知道。
加下引用传递再测试一下,可能是因为你函数里有一次变量分离的,而变量本身又很大的缘故。
$resultMap=saveImportedTCData1($db,&$tcData,$tproject_id,$userID,null,$duplicateLogic,&$produc……
恩 我的那个函数原型是刚好在$tcData,和$produceRelFB 有引用
刚才检查了一下
上面那个函数中有行代码
$tcData[$flag][customfields][] = array("name"=>$cfName,"value"=>$cfValue);
[customfields]忘了加引号,我记得曾经看手册有提到这个问题,这个会导致效率很低。
因为php要额外很多检查。所以一直都是习惯加引号。可能不小心给忘了。
结果因为大量数据 所以一下子开销差别就出来,我算了下空间开销差了二十倍。时间开销没算。
问题还没解决还在找另一个函数出现的问题。
经过xdebug 再调试分析
最终问题得以解决
谢谢以上所有朋友
敬佩楼主啊
不过楼主怎么解决的? 我最近也遇到这个类似的问题了 求解
同问楼主是怎么解决的 主要是那些方面的问题 导致的

PHP用於構建動態網站,其核心功能包括:1.生成動態內容,通過與數據庫對接實時生成網頁;2.處理用戶交互和表單提交,驗證輸入並響應操作;3.管理會話和用戶認證,提供個性化體驗;4.優化性能和遵循最佳實踐,提升網站效率和安全性。

PHP在數據庫操作和服務器端邏輯處理中使用MySQLi和PDO擴展進行數據庫交互,並通過會話管理等功能處理服務器端邏輯。 1)使用MySQLi或PDO連接數據庫,執行SQL查詢。 2)通過會話管理等功能處理HTTP請求和用戶狀態。 3)使用事務確保數據庫操作的原子性。 4)防止SQL注入,使用異常處理和關閉連接來調試。 5)通過索引和緩存優化性能,編寫可讀性高的代碼並進行錯誤處理。

在PHP中使用預處理語句和PDO可以有效防範SQL注入攻擊。 1)使用PDO連接數據庫並設置錯誤模式。 2)通過prepare方法創建預處理語句,使用佔位符和execute方法傳遞數據。 3)處理查詢結果並確保代碼的安全性和性能。

PHP和Python各有優劣,選擇取決於項目需求和個人偏好。 1.PHP適合快速開發和維護大型Web應用。 2.Python在數據科學和機器學習領域佔據主導地位。

PHP在電子商務、內容管理系統和API開發中廣泛應用。 1)電子商務:用於購物車功能和支付處理。 2)內容管理系統:用於動態內容生成和用戶管理。 3)API開發:用於RESTfulAPI開發和API安全性。通過性能優化和最佳實踐,PHP應用的效率和可維護性得以提升。

PHP可以輕鬆創建互動網頁內容。 1)通過嵌入HTML動態生成內容,根據用戶輸入或數據庫數據實時展示。 2)處理表單提交並生成動態輸出,確保使用htmlspecialchars防XSS。 3)結合MySQL創建用戶註冊系統,使用password_hash和預處理語句增強安全性。掌握這些技巧將提升Web開發效率。

PHP和Python各有優勢,選擇依據項目需求。 1.PHP適合web開發,尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能,語法簡潔,適合初學者。

PHP仍然具有活力,其在現代編程領域中依然佔據重要地位。 1)PHP的簡單易學和強大社區支持使其在Web開發中廣泛應用;2)其靈活性和穩定性使其在處理Web表單、數據庫操作和文件處理等方面表現出色;3)PHP不斷進化和優化,適用於初學者和經驗豐富的開發者。


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

SublimeText3漢化版
中文版,非常好用

Atom編輯器mac版下載
最受歡迎的的開源編輯器

VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器

禪工作室 13.0.1
強大的PHP整合開發環境

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中