So verwenden Sie Apache Hadoop für verteiltes Computing und Datenspeicherung in der PHP-Entwicklung

Mit der kontinuierlichen Ausweitung des Internets und der Datenmenge können Einzelmaschinen-Computing und -Speicherung die Anforderungen einer groß angelegten Datenverarbeitung nicht mehr erfüllen. Zu diesem Zeitpunkt werden verteiltes Rechnen und Datenspeicherung zu notwendigen Lösungen. Als Open-Source-Framework für verteiltes Computing ist Apache Hadoop zur ersten Wahl für viele Big-Data-Verarbeitungsprojekte geworden.

Wie verwende ich Apache Hadoop für verteiltes Computing und Datenspeicherung in der PHP-Entwicklung? In diesem Artikel wird es unter drei Gesichtspunkten ausführlich vorgestellt: Installation, Konfiguration und Praxis.

1. Installation

Die Installation von Apache Hadoop erfordert die folgenden Schritte:

1. Laden Sie das Binärdateipaket von Apache Hadoop herunter

Sie können es von der offiziellen Website von Apache Hadoop herunterladen (http://hadoop.apache.org). /releases.html ), um die neueste Version herunterzuladen.

2. Java installieren

Apache Hadoop basiert auf Java, daher müssen Sie zuerst Java installieren.

3. Umgebungsvariablen konfigurieren

Nach der Installation von Java und Hadoop müssen Sie Umgebungsvariablen konfigurieren. Fügen Sie in Windows-Systemen die Bin-Verzeichnispfade von Java und Hadoop zu den Systemumgebungsvariablen hinzu. In Linux-Systemen müssen Sie die PATH-Pfade von Java und Hadoop in .bashrc oder .bash_profile hinzufügen.

2. Konfiguration

Nach der Installation von Hadoop sind einige Konfigurationen erforderlich, um es normal verwenden zu können. Im Folgenden sind einige wichtige Konfigurationen aufgeführt:

1. core-site.xml

Pfad der Konfigurationsdatei: $HADOOP_HOME/etc/hadoop/core-site.xml

In dieser Datei müssen Sie den Standard-Dateisystem-URI und definieren HDFS Der Speicherpfad temporärer Dateien, die bei der Ausführung von Hadoop generiert werden.

Beispielkonfiguration (nur als Referenz):

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

2. hdfs-site.xml

Pfad der Konfigurationsdatei: $HADOOP_HOME/etc/hadoop/hdfs-site.xml

In dieser Datei muss eine Kopie von HDFS vorhanden sein Es werden Informationen wie Anzahl und Blockgröße definiert.

Beispielkonfiguration (nur als Referenz):

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>128M</value>
  </property>
</configuration>

3. yarn-site.xml

Pfad der Konfigurationsdatei: $HADOOP_HOME/etc/hadoop/yarn-site.xml

In dieser Datei müssen Sie YARN-bezogen definieren Konfigurationsinformationen wie Adresse des Ressourcenmanagers, Anzahl der Knotenmanager usw.

Beispielkonfiguration (nur als Referenz):

<configuration>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
  </property>
</configuration>

4. mapred-site.xml

Pfad der Konfigurationsdatei: $HADOOP_HOME/etc/hadoop/mapred-site.xml

Konfigurieren Sie hier die relevanten Informationen des MapReduce-Frameworks Datei.

Beispielkonfiguration (nur als Referenz):

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
  </property>
</configuration>

3. Übung

Nach Abschluss der oben genannten Installations- und Konfigurationsarbeiten können Sie mit der Verwendung von Apache Hadoop für verteiltes Rechnen und Datenspeichern in der PHP-Entwicklung beginnen.

1. Speichern von Daten

In Hadoop werden Daten in HDFS gespeichert. Sie können die von PHP bereitgestellte Hdfs-Klasse (https://github.com/vladko/Hdfs) verwenden, um HDFS zu betreiben.

Beispielcode:

require_once '/path/to/hdfs/vendor/autoload.php';

use AliyunHdfsHdfsClient;

$client = new HdfsClient(['host' => 'localhost', 'port' => 9000]);

// 上传本地文件到HDFS
$client->copyFromLocal('/path/to/local/file', '/path/to/hdfs/file');

// 下载HDFS文件到本地
$client->copyToLocal('/path/to/hdfs/file', '/path/to/local/file');

2. Verteiltes Rechnen

Hadoop verwendet normalerweise das MapReduce-Modell für verteiltes Rechnen. MapReduce-Berechnungen können mithilfe der von PHP bereitgestellten HadoopStreaming-Klasse (https://github.com/andreas-glaser/php-hadoop-streaming) implementiert werden.

Beispielcode:

(Hinweis: Der folgende Code simuliert den Vorgang der Wortzählung in Hadoop.)

Mapper-PHP-Code:

#!/usr/bin/php
<?php

while (($line = fgets(STDIN)) !== false) {
    // 对每一行数据进行处理操作
    $words = explode(' ', strtolower($line));
    foreach ($words as $word) {
        echo $word."    1
";  // 将每个单词按照‘单词    1’的格式输出
    }
}

Reducer-PHP-Code:

#!/usr/bin/php
<?php

$counts = [];
while (($line = fgets(STDIN)) !== false) {
    list($word, $count) = explode("    ", trim($line));
    if (isset($counts[$word])) {
        $counts[$word] += $count;
    } else {
        $counts[$word] = $count;
    }
}

// 将结果输出
foreach ($counts as $word => $count) {
    echo "$word: $count
";
}

Ausführungsbefehl:

$ cat input.txt | ./mapper.php | sort | ./reducer.php

Der obige Ausführungsbefehl wird Die Daten der Datei „input.txt“ werden zur Verarbeitung an „mapper.php“ weitergeleitet, dann sortiert und schließlich werden die Ausgabeergebnisse zur Verarbeitung an „reducer.php“ weitergeleitet, und schließlich wird die Häufigkeit des Vorkommens jedes Wortes ausgegeben.

Die HadoopStreaming-Klasse implementiert die Grundlogik des MapReduce-Modells, wandelt Daten in Schlüssel-Wert-Paare um, ruft die Kartenfunktion für die Zuordnung auf, generiert neue Schlüssel-Wert-Paare und ruft die Reduzierungsfunktion für die Zusammenführungsverarbeitung auf.

Beispielcode:

<?php

require_once '/path/to/hadoop/vendor/autoload.php';

use HadoopStreamingTokenizerTokenizerMapper;
use HadoopStreamingCountCountReducer;
use HadoopStreamingHadoopStreaming;

$hadoop = new HadoopStreaming();
$hadoop->setMapper(new TokenizerMapper());
$hadoop->setReducer(new CountReducer());
$hadoop->run();

Da Apache Hadoop ein Open-Source-Framework für verteiltes Computing ist, bietet es auch viele andere APIs und Tools wie HBase, Hive, Pig usw., die je nach Bedarf in bestimmten Anwendungen ausgewählt werden können.

Zusammenfassung:

Dieser Artikel stellt vor, wie man Apache Hadoop für verteiltes Computing und Datenspeicherung in der PHP-Entwicklung verwendet. Zunächst werden die detaillierten Schritte der Installation und Konfiguration von Apache Hadoop beschrieben, dann wird vorgestellt, wie PHP zum Betreiben von HDFS zum Implementieren von Datenspeichervorgängen verwendet wird, und schließlich wird am Beispiel der HadoopStreaming-Klasse beschrieben, wie verteiltes MapReduce-Computing in der PHP-Entwicklung implementiert wird.

Das obige ist der detaillierte Inhalt vonSo verwenden Sie Apache Hadoop für verteiltes Computing und Datenspeicherung in der PHP-Entwicklung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!