찾다
php教程php手册PHP对大文件的处理思路

PHP对大文件的处理思路

Jun 13, 2016 am 10:54 AM
500php다루다~에 대한아이디어문서통나무지금사용~의반품필요

需求: 现有一个1G左右的日志文件,大约有500多万行, 用php返回最后几行的内容。

在php中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数,简简单单的几行代码就能很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时,这些函数可能就显的力不从心, 下面将从一个需求入手来说明对于读取大文件时,常用的操作方法。

1. 直接采用file函数来操作

由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的memory_limit = 16M来进行设置,这个值如果设置-1,则内存使用量不受限制。

下面是一段用file来取出这具文件最后一行的代码。代码执行大概2分钟左右。

 

01 $fp = fopen($file, "r"); 

02 $num = 10; 

03 $chunk = 4096; 

04 $fs = sprintf("%u", filesize($file)); 

05 $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file); 

06 for ($len = 0; $len

07   $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len; 

08     fseek($fp, ($len + $seekSize) * -1, SEEK_END); 

09     $readData = fread($fp, $seekSize) . $readData; 

10   

11     if (substr_count($readData, "\n") >= $num + 1) { 

12         preg_match("!(.*?\n){".($num)."}$!", $readData, $match); 

13         $data = $match[0]; 

14         break; 

15     } 

16 } 

17 fclose($fp); 

18 echo $data; 

我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了。

2.直接调用linux的tail命令来显示最后几行

在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用php来调用tail命令,执行php代码如下.整个代码执行完成耗时 0.0034 (s)

 

1 file = 'access.log'; 

2 $file = escapeshellarg($file); // 对命令行参数进行安全转义 

3 $line = `tail -n 1 $file`; 

4 echo $line; 

3. 直接使用php的fseek来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内存,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.

方法一:

首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置,再取这一行的位置,依次类推,直到找到了$num行。

view sourceprint?

01 function tail($fp,$n,$base=5) 

02 { 

03     assert($n>0); 

04     $pos = $n+1; 

05     $lines = array(); 

06     while(count($lines)

07         try{ 

08             fseek($fp,-$pos,SEEK_END); 

09         } catch (Exception $e){ 

10             fseek(0); 

11             break; 

12         } 

13         $pos *= $base; 

14         while(!feof($fp)){ 

15             array_unshift($lines,fgets($fp)); 

16         } 

17     } 

18     return array_slice($lines,0,$n); 

19 } 

20 var_dump(tail(fopen("access.log","r+"),10)); 

方法二:

还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换行符(\n)的个数来判断是否已经读完最后$num行数据.

 

01 $fp = fopen($file, "r"); 

02 $line = 10; 

03 $pos = -2; 

04 $t = " "; 

05 $data = ""; 

06 while ($line > 0) { 

07     while ($t != "\n") { 

08         fseek($fp, $pos, SEEK_END); 

09         $t = fgetc($fp); 

10         $pos --; 

11     } 

12     $t = " "; 

13     $data .= fgets($fp); 

14     $line --; 

15 } 

16 fclose ($fp); 

17 echo $data 

方法三:

 

1 ini_set('memory_limit','-1'); 

2 $file = 'access.log'; 

3 $data = file($file); 

4 $line = $data[count($data)-1]; 

5 echo $line; 

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.