最近在做一個遊戲資料統計後台,最基本的功能是透過分析註冊登入日誌來展示使用者資料。在公司內部測試,用戶量很少,所以就沒有發現什麼效能問題。但是這兩天一起放到真實的測試環境,用戶量噌噌地就湧進來了,從下午開始,在線人數的統計開始卡,幾秒鐘才返回數據;註冊人數的查詢速度還行。到了晚上,線上人數的統計基本上就加載超時打不開了。雖然不知他們遊戲端那邊什麼BUG,玩家那邊登入經常出問題,導致線上人數和註冊人數並不是很多。但是就這一點資料量我這邊查詢的速度也不行,這就很尷尬了。
現在他們那邊在查遊戲的BUG,我這邊也在看統計後台的程式碼到底表現出在哪裡。首先說明一下,我統計用的數據是從庫,他們遊戲用的是主庫,再說我這邊管理員人數就幾個,不可能會影響到遊戲服的效能問題。
今天專案組長把資料庫都導過來到公司內的伺服器。我拷了一份到本機,看看統計平台的效能問題出在哪裡。然後卻發現,居然連註冊統計都非常卡,伺服器上是兩秒左右返回,本機要二十幾秒,還經常超時(PHP的默認配置是30秒超時);在線統計的就不用說了肯定打不開。看了一下資料庫,當天的註冊記錄也就 3500 筆左右(有假數據),每五分鐘統計一次,一天就是統計 288 次。當然這裡肯定不是循環查詢資料庫288次,那樣會被罵死的吧。
統計時間段內的註冊數,邏輯也非常簡單,就是每個時間段遍歷一次數據,比較時間大小,符合就+1。但為什麼這麼簡單的邏輯,也就一百萬次循環,怎麼會跑出了足足半分鐘的時間那麼久呢?
關鍵問題就出在於時間比較這裡了,我們都知道,時間戳是比較時間大小的一個比較科學的方法,而資料庫裡記錄的時間一般都是以YYYY-mm-dd HH:ii:ss 的形式,PHP裡有strtotime的函數轉換成時間戳記。然而在288個for * 3500個foreach 的加持之後,這裡的執行時間長達半分鐘。
$nowDayDT = strtotime( date('Y-m-d') ); $__startT = microtime(TRUE); for($i=0; $i<$allTime; $i += $gapTime){ $count = 0; //用于数据比较的 $startDT = $nowDayDT+$i; $endDT = $nowDayDT+$i+$gapTime; //用于显示的 $xAxis1 = date('H:i', $nowDayDT+$i); $xAxis2 = date('H:i', $nowDayDT+$i+$gapTime); foreach($rawData as $line){ $time = strtotime($line['log_dt']); if( $startDT<=$time && $time<$endDT ){ $count ++; } } $resArr[] = [ 'date'=>$xAxis1.'~'.$xAxis2, 'number'=>$count ]; } echo microtime(TRUE)-$__startT;
那這樣的話,基本上是沒辦法再用這個strtotime的函數的了,那還有什麼辦法比較時間大小呢?答案很簡單粗暴,PHP裡面可以直接比較兩個日期時間字串!所以改過後的程式碼如下。然後現在的運行時間大概是 0.3秒
$__startT = microtime(TRUE); for($i=0; $i<$allTime; $i += $gapTime){ $count = 0; //用于数据比较的 $startDT = date('Y-m-d H:i:s', $nowDayDT+$i); $endDT = date('Y-m-d H:i:s', $nowDayDT+$i+$gapTime); //用于显示的 $xAxis1 = date('H:i', $nowDayDT+$i); $xAxis2 = date('H:i', $nowDayDT+$i+$gapTime); foreach($rawData as $line){ $time = $line['log_dt']; if( $startDT<=$time && $time<$endDT ){ $count ++; } } $resArr[] = [ 'date'=>$xAxis1.'~'.$xAxis2, 'number'=>$count ]; } echo microtime(TRUE)-$__startT;
遍歷再優化
大家可能發現一個問題,for 裡面嵌套一個 foreach,這性能有點擔憂,其中完全遍歷嗎?其實是不必的。只要查SQL資料的時候,就按時間排序排出來。最佳化後的時間比較演算法如下:
for{ ... foreach($rawData as $line){ $time = $line['log_dt'];//strtotime($line['log_dt']); //优化算法计算 if($time<$startDT) continue; //小于开始时间则跳过 if($time>=$endDT) break; //大于结束时间则结束 $count ++; //否则为符合条件 //原始的算法 // if( $startDT<=$time && $time<$endDT ){ // $count ++; // } } ...}
這裡巧用了 continue 和 break 關鍵字,用於跳過一次循環和結束整個循環。這次的話,一天中剛開始的時間統計中,後面很大一部分的資料都可以直接跳過。最後總遍歷時間縮短為約0.12秒 。
總結,在大型的資料處理中,應該盡量避免在遍歷中進行資料的轉換,避免用一些原理複雜的函數。如strtotime