PHP에서 대용량 파일을 읽는 다양한 방법에 대한 자세한 설명과 예
- 墨辰丷원래의
- 2018-06-04 10:20:091717검색
이 글에서는 주로 PHP에서 대용량 파일을 읽는 다양한 방법을 자세히 소개합니다. 관심 있는 친구들은 참고하세요
큰 파일을 읽는 것은 항상 골치 아픈 일이었습니다. PHP를 사용하여 작은 파일을 직접 개발하고 읽을 수 있습니다. 구현했지만 일단 큰 기사에 도달하면 일반적으로 사용되는 방법이 정상적으로 사용되지 않거나 너무 오래 걸리고 너무 막히는 것을 발견하게 될 것입니다. PHP에서 대용량 파일을 읽는 문제에 대한 해결책을 살펴보겠습니다. 예제가 모든 사람에게 도움이 되기를 바랍니다.
PHP에서 파일을 읽을 때 가장 빠른 방법은 file 및 file_get_contents와 같은 일부 기능을 사용하는 것입니다. 몇 줄의 간단한 코드로 필요한 기능을 아름답게 완성할 수 있습니다. 그러나 운용 중인 파일이 상대적으로 큰 파일인 경우 이러한 기능이 충분하지 않을 수 있습니다. 다음은 대용량 파일을 읽을 때 일반적으로 사용되는 조작 방법을 설명하기 위한 요구 사항부터 시작합니다.
요구 사항:
약 500만 줄의 800M 로그 파일이 있습니다. PHP를 사용하여 마지막 몇 줄의 내용을 반환하세요.
구현 방법:
1. 파일 함수를 직접 사용하여 작동
파일 함수는 모든 내용을 한 번에 메모리로 읽어들이기 때문에 PHP는 잘못 작성된 일부 프로그램이 너무 많은 메모리를 차지하여 시스템 메모리가 부족해지는 것을 방지합니다. , 서버 충돌을 유발하므로 기본적으로 최대 메모리 사용량은 16M로 제한됩니다. 이는 php.ini에서 memory_limit = 16M을 통해 설정됩니다. 이 값을 -1로 설정하면 메모리 사용량이 제한되지 않습니다.
다음은 file을 사용하여 이 파일의 마지막 줄을 추출하는 코드입니다.
<?php ini_set('memory_limit', '-1'); $file = 'access.log'; $data = file($file); $line = $data[count($data) - 1]; echo $line; ?>
전체 코드를 실행하는 데 116.9613(s)이 걸립니다.
내 컴퓨터의 메모리는 2G입니다. F5를 눌러 실행하면 시스템이 회색으로 바뀌고 거의 20분 후에야 복구됩니다. 이렇게 큰 파일을 메모리에 직접 읽어 들이면 결과가 매우 심각하다는 것을 알 수 있습니다. 아니요, memory_limit를 너무 높게 설정할 수 없습니다. 그렇지 않은 경우 유일한 옵션은 컴퓨터실에 전화하여 시스템을 재설정하는 것입니다.
2. Linux tail 명령을 직접 호출하여 마지막 몇 줄을 표시합니다.
Linux 명령줄에서 tail -n 10 access.log를 직접 사용하여 로그 파일의 마지막 몇 줄을 쉽게 표시할 수 있습니다. PHP에서 tail 명령을 호출하려면 다음과 같이 PHP 코드를 실행하세요.
<?php $file = 'access.log'; $file = escapeshellarg($file); // 对命令行参数进行安全转义 $line = `tail -n 1 $file`; echo $line; ?>
전체 코드 실행에는 0.0034(s)가 소요됩니다.
3 PHP의 fseek를 직접 사용하여 파일 작업을 수행합니다
이 방법이 가장 일반적입니다. 파일의 모든 내용을 포인터를 통해 직접 읽고 조작하므로 효율성이 매우 효율적입니다. fseek를 사용하여 파일을 조작할 때 방법은 여러 가지가 있으며 효율성이 약간 다를 수 있습니다. 다음은 일반적으로 사용되는 두 가지 방법입니다.
방법 1
먼저 fseek를 통해 파일의 마지막 EOF를 찾은 다음 시작 부분을 찾습니다. 마지막 행의 위치, 이 행의 데이터를 가져온 다음 다음 행의 시작 위치를 찾은 다음 $num 행을 찾을 때까지 이 행의 위치를 가져오는 식으로 계속됩니다.
구현 코드는 다음과 같습니다
<?php
$fp = fopen($file, "r");
$line = 10;
$pos = -2;
$t = " ";
$data = "";
while ($line > 0)
{
while ($t != "＼n")
{
fseek($fp, $pos, SEEK_END);
$t = fgetc($fp);
$pos--;
}
$t = " ";
$data .= fgets($fp);
$line--;
}
fclose($fp);
echo $data
?>
전체 코드 실행에 0.0095(s)가 소요됩니다.
방법 2
fseek를 사용하여 파일 끝부터 읽어오는데 이번에는 한줄씩 읽지 않습니다. 하나씩 읽지만 데이터 조각을 읽을 때마다 읽은 데이터는 buf에 배치된 다음 줄 바꿈 문자(\n)의 수를 사용하여 데이터의 마지막 $num 행에 데이터가 있는지 여부를 결정합니다. 읽었습니다.
구현 코드는 다음과 같습니다
<?php
$fp = fopen($file, "r");
$num = 10;
$chunk = 4096;
$fs = sprintf("%u", filesize($file));
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
for ($len = 0; $len < $max; $len += $chunk)
{
$seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
fseek($fp, ($len + $seekSize) * -1, SEEK_END);
$readData = fread($fp, $seekSize) . $readData;
if (substr_count($readData, "＼n") >= $num + 1)
{
preg_match("!(.*?＼n){" . ($num) . "}$!", $readData, $match);
$data = $match[0];
break;
}
}
fclose($fp);
echo $data;
?>
전체 코드 실행에는 0.0009(s)가 소요됩니다.
방법 3
<?php
function tail($fp, $n, $base = 5)
{
assert($n > 0);
$pos = $n + 1;
$lines = array();
while (count($lines) <= $n)
{
try
{
fseek($fp, -$pos, SEEK_END);
}
catch (Exception $e)
{
fseek(0);
break;
}
$pos *= $base;
while (!feof($fp))
{
array_unshift($lines, fgets($fp));
}
}
return array_slice($lines, 0, $n);
}
var_dump(tail(fopen("access.log", "r+"), 10));
?>
전체 코드를 실행하는 데 0.0003(s)이 걸립니다.
PHP의 stream_get_line 함수인 방법 4는 500,000개의 데이터가 포함된 대용량 파일을 읽는 데 약 20초가 걸립니다. 시간! 예제 코드는 다음과 같습니다
$fp = fopen('./iis.log', 'r'); //文件
while (!feof($fp)) {
//for($j=1;$j<=1000;$j++) { //读取下面的1000行并存储到数组中
$logarray[] = stream_get_line($fp, 65535, "＼n");
// break;
// }
}
요약: 위 내용은 이 글의 전체 내용입니다. 모든 분들의 학습에 도움이 되길 바랍니다.
관련 권장 사항:
php웹 사이트 루트의 물리적 경로를 얻는 여러 가지 방법 디렉토리
위 내용은 PHP에서 대용량 파일을 읽는 다양한 방법에 대한 자세한 설명과 예의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!