>  기사  >  백엔드 개발  >  기가바이트 단위의 텍스트 데이터 행을 어떻게 효율적으로 계산할 수 있습니까?

기가바이트 단위의 텍스트 데이터 행을 어떻게 효율적으로 계산할 수 있습니까?

Linda Hamilton
Linda Hamilton원래의
2024-11-01 14:43:02211검색

How Can You Efficiently Count Lines in Gigabytes of Text Data?

큰 텍스트 파일(수 GB)에서 줄 계산 최적화

200MB를 초과하는 텍스트 파일의 경우 count(file($path))를 사용하여 줄 계산을 수행할 때 발생할 수 있는 문제 메모리 제한. 더 효율적인 솔루션은 다음과 같습니다.

<code class="php">$file = "largefile.txt";
$linecount = 0;

$handle = fopen($file, "r");

while (!feof($handle)) {
  fgets($handle);
  $linecount++;
}

fclose($handle);

echo $linecount;</code>

이 접근 방식은 한 번에 한 줄씩 메모리에 로드하므로 전체 파일을 메모리에 저장할 필요가 없습니다.

파일에 줄 바꿈을 계산하는 대신 이 대체 방법을 사용할 수 있습니다.

<code class="php">$linecount = 0;

$handle = fopen($file, "r");

while (!feof($handle)) {
  $line = fgets($handle, 4096);
  $linecount += substr_count($line, PHP_EOL);
}

fclose($handle);</code>

파일을 청크하고 줄 바꿈을 계산하면 유난히 긴 줄에서도 메모리 문제를 완화할 수 있습니다.

위 내용은 기가바이트 단위의 텍스트 데이터 행을 어떻게 효율적으로 계산할 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.