需求: 现有一个1G左右的日志文件,大约有500多万行, 用php返回最后几行的内容。
在php中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数,简简单单的几行代码就能很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时,这些函数可能就显的力不从心, 下面将从一个需求入手来说明对于读取大文件时,常用的操作方法。
1. 直接采用file函数来操作
由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的memory_limit = 16M来进行设置,这个值如果设置-1,则内存使用量不受限制。
下面是一段用file来取出这具文件最后一行的代码。代码执行大概2分钟左右。
01 $fp = fopen($file, "r");
02 $num = 10;
03 $chunk = 4096;
04 $fs = sprintf("%u", filesize($file));
05 $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
06 for ($len = 0; $len
07 $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
08 fseek($fp, ($len + $seekSize) * -1, SEEK_END);
09 $readData = fread($fp, $seekSize) . $readData;
10
11 if (substr_count($readData, "\n") >= $num + 1) {
12 preg_match("!(.*?\n){".($num)."}$!", $readData, $match);
13 $data = $match[0];
14 break;
15 }
16 }
17 fclose($fp);
18 echo $data;
我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了。
2.直接调用linux的tail命令来显示最后几行
在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用php来调用tail命令,执行php代码如下.整个代码执行完成耗时 0.0034 (s)
1 file = 'access.log';
2 $file = escapeshellarg($file); // 对命令行参数进行安全转义
3 $line = `tail -n 1 $file`;
4 echo $line;
3. 直接使用php的fseek来进行文件操作
这种方式是最为普遍的方式,它不需要将文件的内容全部读入内存,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.
方法一:
首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置,再取这一行的位置,依次类推,直到找到了$num行。
view sourceprint?
01 function tail($fp,$n,$base=5)
02 {
03 assert($n>0);
04 $pos = $n+1;
05 $lines = array();
06 while(count($lines)
07 try{
08 fseek($fp,-$pos,SEEK_END);
09 } catch (Exception $e){
10 fseek(0);
11 break;
12 }
13 $pos *= $base;
14 while(!feof($fp)){
15 array_unshift($lines,fgets($fp));
16 }
17 }
18 return array_slice($lines,0,$n);
19 }
20 var_dump(tail(fopen("access.log","r+"),10));
方法二:
还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换行符(\n)的个数来判断是否已经读完最后$num行数据.
01 $fp = fopen($file, "r");
02 $line = 10;
03 $pos = -2;
04 $t = " ";
05 $data = "";
06 while ($line > 0) {
07 while ($t != "\n") {
08 fseek($fp, $pos, SEEK_END);
09 $t = fgetc($fp);
10 $pos --;
11 }
12 $t = " ";
13 $data .= fgets($fp);
14 $line --;
15 }
16 fclose ($fp);
17 echo $data
方法三:
1 ini_set('memory_limit','-1');
2 $file = 'access.log';
3 $data = file($file);
4 $line = $data[count($data)-1];
5 echo $line;

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

Dreamweaver Mac版
시각적 웹 개발 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

mPDF
mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.
