首頁 >後端開發 >php教程 >如何優化檔案寫入速度

如何優化檔案寫入速度

WBOY
WBOY原創
2016-10-11 14:23:441583瀏覽

如何優化文件寫入速度,根據計算的分庫分錶,每次文件寫入的位置都不同,如果有100w條數據,這樣的文件IO是拖慢程序速度
看代碼,求大神給優化意見

<code>$inputfile = "logs.txt";//输入日志文件,每字段以\t分隔,每行以\n结尾
$fp = fopen($inputfile,'r');
if(!is_resource($fp)){
    echo "打开文件".$inputfile."失败,分析日志程序终止";
    exit(1);
}
while(!feof($fp)){
    $row = fgets($fp,4096);
    str_replace(array("\r","\n"),array("",""),$row);//去除行中的换行符
    if($row == ''){
        continue;
    }
    $arrRec = explode("\t",$row);//将一行字符串以\t分隔为数组
    $accountid = $arrRec[6];//账户id
    //下面由文字说明
    /**
     * 根据一行中的$accountid,调用底层函数算出分库分表位置
     * 例如分库为groupid = 5
     * 分表名为table_0001
     */
    $groupid = 5;
    $tableid = "table_0001";
    //在此处拼接要写入的文件路径
    $outputfile = "tmp/".$groupid."/".$tableid;//这个值每读一行数据,根据accountid计算的的结果都会变

    $content = "\t".$arrRec[0]."\t".$accountid."\t".$groupid."\n";//拼接要写入文件的内容
    if(file_put_contents($outputfile,$content,FILE_APPEND))
    {
        $success++;
        $content = '';
    }
    else
    {
        $failure++;
    }
}
fclose($fp);</code>

每次只能寫入一條數據,100w條大約要30分鐘,速度很慢,如何優化;經測試,如果目標文件路徑不變,將全部要寫入的內容拼接為一個長字符串,然後在while循環結束後面呼叫一次file_put_contents函數,一次將全部內容寫入檔案速度回快很多;但現在遇到的問題是每次寫入的目標路徑都會改變,求最佳化意見

回覆內容:

如何優化文件寫入速度,根據計算的分庫分錶,每次文件寫入的位置都不同,如果有100w條數據,這樣的文件IO是拖慢程序速度
看代碼,求大神給優化意見

<code>$inputfile = "logs.txt";//输入日志文件,每字段以\t分隔,每行以\n结尾
$fp = fopen($inputfile,'r');
if(!is_resource($fp)){
    echo "打开文件".$inputfile."失败,分析日志程序终止";
    exit(1);
}
while(!feof($fp)){
    $row = fgets($fp,4096);
    str_replace(array("\r","\n"),array("",""),$row);//去除行中的换行符
    if($row == ''){
        continue;
    }
    $arrRec = explode("\t",$row);//将一行字符串以\t分隔为数组
    $accountid = $arrRec[6];//账户id
    //下面由文字说明
    /**
     * 根据一行中的$accountid,调用底层函数算出分库分表位置
     * 例如分库为groupid = 5
     * 分表名为table_0001
     */
    $groupid = 5;
    $tableid = "table_0001";
    //在此处拼接要写入的文件路径
    $outputfile = "tmp/".$groupid."/".$tableid;//这个值每读一行数据,根据accountid计算的的结果都会变

    $content = "\t".$arrRec[0]."\t".$accountid."\t".$groupid."\n";//拼接要写入文件的内容
    if(file_put_contents($outputfile,$content,FILE_APPEND))
    {
        $success++;
        $content = '';
    }
    else
    {
        $failure++;
    }
}
fclose($fp);</code>

每次只能寫入一條數據,100w條大約要30分鐘,速度很慢,如何優化;經測試,如果目標文件路徑不變,將全部要寫入的內容拼接為一個長字符串,然後在while循環結束後面呼叫一次file_put_contents函數,一次將全部內容寫入檔案速度回快很多;但現在遇到的問題是每次寫入的目標路徑都會改變,求最佳化意見

檔案寫入速度基本上跟程式沒太大關係。 。瓶頸都在於硬體效能上。 。

換SSD固態硬碟吧

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn