Vergleichende Analyse der Effizienz des Lesens großer Dateien mithilfe der Dateifunktion und der Fseek-Funktion in PHP

PHP kann die Dateifunktion und die Fseek-Funktion zum Lesen großer Dateien verwenden, es kann jedoch Unterschiede in der Effizienz zwischen beiden geben. In diesem Artikel wird Ihnen eine vergleichende Analyse der PHP-Dateifunktion und der Fseek-Funktion zum Lesen großer Dateien vorgestellt Effizienz. Freunde, die es brauchen, können als Referenz dienen.

1. Verwenden Sie zum Betrieb direkt die Dateifunktion.

Da die Dateifunktion den gesamten Inhalt auf einmal in den Speicher einliest, dient PHP dazu, einige schlecht geschriebene Programme zu verhindern Beansprucht zu viel Der Systemspeicher reicht nicht aus, was zum Absturz des Servers führt. Daher ist die maximale Speichernutzung standardmäßig auf 16 MB begrenzt. Dies wird durch „memory_limit = 16 M“ in php.ini festgelegt Speicher Unbegrenzte Nutzung.

Das Folgende ist ein Codeteil, der die letzte Zeile dieser Datei mithilfe von file extrahiert:

<?php
  ini_set(&#39;memory_limit&#39;, &#39;-1&#39;);
  $file = &#39;access.log&#39;;
  $data = file($file);
  $line = $data[count($data) - 1];
  echo $line;
  ?>

Die gesamte Codeausführung dauerte 116,9613 (s).

Mein Rechner verfügt über 2 GB Speicher, das System wird ausgegraut und es dauert fast 20 Minuten, bis eine so große Datei direkt in den Speicher eingelesen wird. Was sind die Konsequenzen? Es ist ernst, also ist es kein letzter Ausweg. Die Sache mit dem Speicherlimit kann nicht zu hoch eingestellt werden. Andernfalls besteht die einzige Möglichkeit darin, den Computerraum anzurufen und die Maschine zurückzusetzen.

2. Verwenden Sie fseek direkt, um Dateioperationen auszuführen.

Diese Methode ist nicht erforderlich, um den gesamten Inhalt der Datei zu lesen , daher ist die Effizienz recht effizient. Bei der Verwendung von fseek zum Bearbeiten von Dateien gibt es viele verschiedene Methoden, und die Effizienz kann geringfügig unterschiedlich sein. Die folgenden zwei häufig verwendeten Methoden sind:

Methode 1

Erster Durchgang fseek Finden Sie das letzte EOF der Datei, suchen Sie dann die Startposition der letzten Zeile, rufen Sie die Daten dieser Zeile ab, suchen Sie dann die Startposition der nächsten Zeile, nehmen Sie dann die Position dieser Zeile usw., bis die Zeile $num gefunden wird .

Der Implementierungscode lautet wie folgt

<?php
  $fp = fopen($file, "r");
  $line = 10;
  $pos = -2;
  $t = " ";
  $data = "";
  while ($line > 0)
  {
    while ($t != "\n")
    {
      fseek($fp, $pos, SEEK_END);
      $t = fgetc($fp);
      $pos--;
    }// http://www.manongjc.com
    $t = " ";
    $data .= fgets($fp);
    $line--;
  }
  fclose($fp);
  echo $data
  ?>

Die gesamte Codeausführung dauert 0,0095 (s)

Methode 2

Verwenden Sie immer noch fseek, um vom Ende der Datei zu lesen, aber dieses Mal wird nicht Stück für Stück, sondern Stück für Stück gelesen. Jedes Mal, wenn ein Datenelement gelesen wird, werden die gelesenen Daten eingefügt a buf und verwenden Sie dann die Anzahl der Zeilenumbrüche (n), um zu bestimmen, ob die letzten $num Datenzeilen gelesen wurden.

Der Implementierungscode lautet wie folgt

<?php
  $fp = fopen($file, "r");
  $num = 10;
  $chunk = 4096;
  $fs = sprintf("%u", filesize($file));
  $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
  for ($len = 0; $len < $max; $len += $chunk)
  {
    $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
    fseek($fp, ($len + $seekSize) * -1, SEEK_END);
    $readData = fread($fp, $seekSize) . $readData;
    if (substr_count($readData, "\n") >= $num + 1)
    {
      // 作者：码农教程  http://www.manongjc.com
      preg_match("!(.*?\n){" . ($num) . "}$!", $readData, $match);
      $data = $match[0];
      break;
    }
  }
  fclose($fp);
  echo $data;
  ?>

Die gesamte Codeausführung dauert 0,0009(s).

Methode 3

<?php
  function tail($fp, $n, $base = 5)
  {
    assert($n > 0);
    $pos = $n + 1;
    $lines = array();
    while (count($lines) <= $n)
    {
      try
      {
        fseek($fp, -$pos, SEEK_END);
      }
      catch (Exception $e)
      {
        fseek(0);
        break;
      }
      $pos *= $base;
      while (!feof($fp))
      {
        array_unshift($lines, fgets($fp));
      }
    }
   
    return array_slice($lines, 0, $n);
  }
   
  var_dump(tail(fopen("access.log", "r+"), 10));
  ?>

Die gesamte Codeausführung dauert 0,0003(s)

Das ist alles für den Inhalt dieses Artikels Ich hoffe, dass es für alle beim Lernen hilfreich sein wird, und ich hoffe auch, dass jeder die chinesische PHP-Website unterstützt.

Weitere Artikel zur vergleichenden Analyse der Effizienz beim Lesen großer Dateien mithilfe der Dateifunktion und der Fseek-Funktion in PHP finden Sie auf der chinesischen PHP-Website!