搜尋
首頁後端開發PHP問題php 怎麼讀大檔案 某幾行

php讀大檔案某幾行的實作方法:1、直接採用file函數來操作;2、呼叫Linux的tail指令來顯示最後幾行;3、使用PHP的fseek進行檔案操作;4 、透過PHP的stream_get_line函數實作讀取。

php 怎麼讀大檔案 某幾行

本文操作環境:windows7系統、PHP7.1版、DELL G3電腦

php 怎麼讀大檔案某幾行?

PHP讀取大檔案的多種方法介紹

讀取大檔案一直是一個頭痛的問題,我們像使用php開發讀取小檔案可以直接使用各種函數實現,但一到大文章就會發現常用的方法是無法正常使用或時間太長太卡了,下面我們就一起來看看關於php讀取大文件問題解決辦法,希望例子能幫助到各位。

在PHP中,對於檔案的讀取時,最快捷的方式莫過於使用一些諸如file、file_get_contents之類的函數,簡簡單單的幾行程式碼就能很漂亮的完成我們所需要的功能。但當所操作的文件是一個比較大的文件時,這些函數可能就顯的力不從心, 下面將從一個需求入手來說明對於讀取大文件時,常用的操作方法。

需求:

有一個800M的日誌文件,大約有500多萬行, 用PHP傳回最後幾行的內容。

實作方法:

1. 直接採用file函數來操作

  由於file函數是一次將所有內容讀入內存,而PHP為了防止一些寫的比較糟糕的程式佔用太多的記憶體而導致系統記憶體不足,使伺服器出現宕機,所以預設限制只能最大使用記憶體16M,這是透過php.ini裡的memory_limit = 16M 來進行設置,這個值如果設定-1,則記憶體使用量不受限制。

下面是一段用file來取出這具檔案最後一行的程式碼:

<?php
  ini_set(&#39;memory_limit&#39;, &#39;-1&#39;);
  $file = &#39;access.log&#39;;
  $data = file($file);
  $line = $data[count($data) - 1];
  echo $line;
?>

  整個程式碼執行完成耗時 116.9613 (s)。

  我機器是2個G的內存,當按下F5運行時,系統直接變灰,差不多20分鐘後才恢復過來,可見將這麼大的文件全部直接讀入內存,後果是多少嚴重,所以不在萬不得以,memory_limit這東西不能調得太高,否則只有打電話給機房,讓reset機器了。

2.直接呼叫Linux的tail 指令來顯示最後幾行

  在Linux命令列下,可以直接使用tail -n 10 access.log 很輕易的顯示日誌檔最後幾行,可以直接用PHP來呼叫tail指令,執行PHP程式碼如下:

<?php
  $file = &#39;access.log&#39;;
  $file = escapeshellarg($file); // 对命令行参数进行安全转义
  $line = `tail -n 1 $file`;
  echo $line;
?>

  整個程式碼執行完成耗時0.0034 (s)

3. 直接使用PHP的fseek 來進行檔案操作

  這種方式是最為普遍的方式,它不需要將文件的內容全部讀入內容,而是直接透過指標來操作,所以效率是相當有效率的。在使用fseek對檔案進行操作時,也有多種不同的方法,效率可能也是略有差別的,以下是常用的兩種方法:

方法一

  先透過fseek找到文件的最後一位EOF,然後找最後一行的起始位置,取這一行的數據,再找次一行的起始位置, 再取這一行的位置,依次類推,直到找到了$num行。

實作程式碼如下

<?php
$fp = fopen($file, "r");
$line = 10;
$pos = -2;
$t = " ";
$data = "";
while ($line > 0)
{
 while ($t != "\n")
 {
 fseek($fp, $pos, SEEK_END);
 $t = fgetc($fp);
 $pos--;
 }
 $t = " ";
 $data .= fgets($fp);
 $line--;
}
fclose($fp);
echo $data
?>

  整個程式碼執行完成耗時0.0095 (s)

方法二

  還是採用fseek的方式從檔案最後開始讀取,但這時不是一位一位的讀,而是一塊一塊的讀,每讀一塊資料時,就將讀取後的資料放在一個buf裡,然後透過換行符(\n)的個數來判斷是否已經讀完最後$num行資料。

實作程式碼如下

<?php
$fp = fopen($file, "r");
$num = 10;
$chunk = 4096;
$fs = sprintf("%u", filesize($file));
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
for ($len = 0; $len < $max; $len += $chunk)
{
 $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
 fseek($fp, ($len + $seekSize) * -1, SEEK_END);
 $readData = fread($fp, $seekSize) . $readData;
 if (substr_count($readData, "\n") >= $num + 1)
 {
 preg_match("!(.*?\n){" . ($num) . "}$!", $readData, $match);
 $data = $match[0];
 break;
 }
}
fclose($fp);
echo $data;
?>

整個程式碼執行完成耗時 0.0009(s)。

方法三

<?php
function tail($fp, $n, $base = 5)
{
 assert($n > 0);
 $pos = $n + 1;
 $lines = array();
 while (count($lines) <= $n)
 {
 try
 {
  fseek($fp, -$pos, SEEK_END);
 }
 catch (Exception $e)
 {
  fseek(0);
  break;
 }
 $pos *= $base;
 while (!feof($fp))
 {
  array_unshift($lines, fgets($fp));
 }
 }
 return array_slice($lines, 0, $n);
}
var_dump(tail(fopen("access.log", "r+"), 10));
?>

整個程式碼執行完成耗時0.0003(s)

方法四,PHP的stream_get_line函數,讀取快速,讀取50萬個資料大文件,大概需要20秒左右的時間!範例程式碼如下

$fp = fopen(&#39;./iis.log&#39;, &#39;r&#39;); //文件 
while (!feof($fp)) { 
 //for($j=1;$j<=1000;$j++) {     //读取下面的1000行并存储到数组中 
 $logarray[] = stream_get_line($fp, 65535, "\n"); 
    // break;
 // } 
  
 }

推薦學習:《PHP影片教學

以上是php 怎麼讀大檔案 某幾行的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
php怎么把负数转为正整数php怎么把负数转为正整数Apr 19, 2022 pm 08:59 PM

php把负数转为正整数的方法:1、使用abs()函数将负数转为正数,使用intval()函数对正数取整,转为正整数,语法“intval(abs($number))”;2、利用“~”位运算符将负数取反加一,语法“~$number + 1”。

php怎么实现几秒后执行一个函数php怎么实现几秒后执行一个函数Apr 24, 2022 pm 01:12 PM

实现方法:1、使用“sleep(延迟秒数)”语句,可延迟执行函数若干秒;2、使用“time_nanosleep(延迟秒数,延迟纳秒数)”语句,可延迟执行函数若干秒和纳秒;3、使用“time_sleep_until(time()+7)”语句。

php怎么除以100保留两位小数php怎么除以100保留两位小数Apr 22, 2022 pm 06:23 PM

php除以100保留两位小数的方法:1、利用“/”运算符进行除法运算,语法“数值 / 100”;2、使用“number_format(除法结果, 2)”或“sprintf("%.2f",除法结果)”语句进行四舍五入的处理值,并保留两位小数。

php怎么根据年月日判断是一年的第几天php怎么根据年月日判断是一年的第几天Apr 22, 2022 pm 05:02 PM

判断方法:1、使用“strtotime("年-月-日")”语句将给定的年月日转换为时间戳格式;2、用“date("z",时间戳)+1”语句计算指定时间戳是一年的第几天。date()返回的天数是从0开始计算的,因此真实天数需要在此基础上加1。

php字符串有没有下标php字符串有没有下标Apr 24, 2022 am 11:49 AM

php字符串有下标。在PHP中,下标不仅可以应用于数组和对象,还可应用于字符串,利用字符串的下标和中括号“[]”可以访问指定索引位置的字符,并对该字符进行读写,语法“字符串名[下标值]”;字符串的下标值(索引值)只能是整数类型,起始值为0。

php怎么判断有没有小数点php怎么判断有没有小数点Apr 20, 2022 pm 08:12 PM

php判断有没有小数点的方法:1、使用“strpos(数字字符串,'.')”语法,如果返回小数点在字符串中第一次出现的位置,则有小数点;2、使用“strrpos(数字字符串,'.')”语句,如果返回小数点在字符串中最后一次出现的位置,则有。

php怎么替换nbsp空格符php怎么替换nbsp空格符Apr 24, 2022 pm 02:55 PM

方法:1、用“str_replace("&nbsp;","其他字符",$str)”语句,可将nbsp符替换为其他字符;2、用“preg_replace("/(\s|\&nbsp\;||\xc2\xa0)/","其他字符",$str)”语句。

php怎么读取字符串后几个字符php怎么读取字符串后几个字符Apr 22, 2022 pm 08:31 PM

在php中,可以使用substr()函数来读取字符串后几个字符,只需要将该函数的第二个参数设置为负值,第三个参数省略即可;语法为“substr(字符串,-n)”,表示读取从字符串结尾处向前数第n个字符开始,直到字符串结尾的全部字符。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
1 個月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境