So implementieren Sie Debian Hadoop Resource Management

In diesem Artikel wird beschrieben, wie der Hadoop -Explorer im Debian -System konfiguriert wird. Die folgenden Schritte decken die Konstruktion und Überprüfung von Hadoop -Clustern ab.

1. Konfiguration Hadoop Installation und Umgebungskonfiguration

Installieren Sie zuerst Hadoop im Debian -System. Angenommen, Sie haben das Installationspaket von Hadoop 2.7.2 heruntergeladen, können Sie es mit dem folgenden Befehl entpacken und installieren:

 sudo mkdir/usr/lokal/hadoop
sudo tar xvf hadoop -2.7.2.tar.gz -c/usr/local/hadoop

Konfigurieren Sie als nächstes Umgebungsvariablen, um nachfolgende Operationen zu erleichtern. Bearbeiten Sie die Datei ~/.bashrc oder /etc/profile und fügen Sie Folgendes hinzu:

 Export hadoop_home =/usr/local/hadoop
Exportpfad = $ Path: $ Hadoop_Home/bin

Führen Sie source ~/.bashrc oder source /etc/profile aus, um die Konfiguration in Kraft zu setzen.

2. Hadoop Cluster -Konfiguration

Auf allen Knoten des Clusters müssen Sie die Core Hadoop-Konfigurationsdateien konfigurieren: core-site.xml , hdfs-site.xml , mapred-site.xml und yarn-site.xml . Diese Dateien definieren die wichtigsten Eigenschaften von Hadoop -Clustern wie HDFS -Namensknotenadresse, Anzahl der Datenrepliken, MapReduce Framework und Garnressourcenmanager -Adresse.

Zum Beispiel lautet core-site.xml wie folgt:

<configuration>
  <property>
    <name>Fs.DefaultFs</name>
    <value>HDFS: // Debian171: 9000</value>
  </property>
  <property>
    <name>Hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

Bitte ändern Sie diese Konfigurationen entsprechend der tatsächlichen Situation Ihres Clusters.

3.. Hadoop Cluster -Startup

Starten Sie auf allen Knoten die HDFS- und Garndienste mit dem folgenden Befehl:

 CD/USR/Lokal/Hadoop/SBIN
./start-dfs.sh
./start-marn.sh

4. Überprüfung der Ressourcenverwaltung

Führen Sie einen einfachen WordCount -Job aus, um zu überprüfen, ob das Hadoop -Ressourcenmanagement funktioniert:

 Hadoop Jar Hadoop-Examples.Jar WordCount /TMP /Eingang /Ausgabe

Wenn das Ergebnis erfolgreich ausgeführt und ausgegeben wird, bedeutet dies, dass die Hadoop -Ressourcenmanagementkonfiguration erfolgreich ist.

5. Dinge zu beachten

Die obigen Schritte bieten einen grundlegenden Konfigurationsprozess für Hadoop -Ressourcenverwaltung. Die tatsächliche Konfiguration kann je nach Clustergröße, Hadoop -Version und spezifischen Anforderungen variieren. Weitere detailliertere Konfigurationsinformationen finden Sie in der offiziellen Hadoop -Dokumentation.

Das obige ist der detaillierte Inhalt vonSo implementieren Sie Debian Hadoop Resource Management. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!