Wie man Debian Hadoop testet

Dieser Artikel führt Sie dazu, Apache Hadoop in Ihrem Debian -System zu installieren und zu testen. In den folgenden Schritten werden die Konfigurationsprozess- und Überprüfungsmethoden detailliert beschrieben.

Schritt 1: Java installieren

Stellen Sie sicher, dass das System Java 8 oder höher installiert ist. Installieren Sie OpenJDK 8 mit dem folgenden Befehl:

 sudo APT -Update
sudo apt installieren openjdk-8-jdk

Überprüfen Sie die Installation:

 Java -Version

Schritt 2: Download und dekomprimieren Sie Hadoop

Laden Sie die neueste Version von Hadoop von der offiziellen Website von Apache Hadoop herunter und entpacken Sie sie in das angegebene Verzeichnis (z /usr/local/hadoop ):

 wGet https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop -3.3.1.tar.gz -c/usr/local/hadoop
`` `(Bitte ersetzen Sie` Hadoop-3.3.1` durch die tatsächliche Versionsnummer)


** Schritt 3: Umgebungsvariablen konfigurieren **

Bearbeiten Sie die Datei "~/.bashrc" und fügen Sie die folgenden Umgebungsvariablen hinzu:

`` `bash
Export hadoop_home =/usr/local/hadoop
Exportpfad = $ Path: $ Hadoop_Home/bin: $ hadoop_home/sbin

Die Änderungen wirksam werden:

 Quelle ~/.bashrc

Schritt 4: Konfigurieren Sie die Hadoop -Konfigurationsdatei

Ändern Sie die Konfigurationsdatei im Hadoop -Verzeichnis:

• Core-Site.xml :

<configuration>
  <property>
    <name>Fs.DefaultFs</name>
    <value>HDFS: // NAMENODE: 9000</value>
  </property>
</configuration>

• HDFS-site.xml :

<configuration>
  <property>
    <name>DFS.Replikation</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/Daten</value>
  </property>
</configuration>

• Mapred-Site.xml :

<configuration>
  <property>
    <name>MAPREDUCE.FRAMEWORK.NAME</name>
    <value>Garn</value>
  </property>
</configuration>

• Garn-Site.xml :

<configuration>
  <property>
    <name>marn.nodemanager.aux-services</name>
    <value>MAPREDUCE_SHUFFE</value>
  </property>
  <property>
    <name>marn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shuffleHandler</value>
  </property>
</configuration>

Schritt 5: Format HDFs Format

Führen Sie auf dem Namenode -Knoten den folgenden Befehl aus, um HDFs zu formatieren:

 HDFS NAMENODE -Format

Schritt 6: Hadoop -Service starten

Starten Sie Namenode und Datanode im NAMENODE -Knoten:

 Start-dfs.sh

Starten Sie Garn auf dem Ressourcenemanager -Knoten:

 Start marn.sh

Schritt 7: Lokale Modus -Tests

Wechseln Sie zu Hadoop -Benutzer:

 Su - Hadoop

Erstellen Sie Eingangsverzeichnisse und -dateien:

 mkdir ~/input
vi ~/input/data.txt

Geben Sie Testdaten ein (z. B. "Hallo Welt", "Hello Hadoop"), speichern und beenden.

WordCount Beispiel ausführen:

 Hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*
`` `(Bitte passen Sie es gemäß dem tatsächlichen JAR -Paket -Dateinamen an)

Sehen Sie sich die Ergebnisse an:

`` `bash
ls ~/output
Cat ~/output/part-r-00000

Die korrekte Ausgabe zeigt an, dass der Hadoop -Lokalmodus erfolgreich ausgeführt wird. Bitte beachten Sie, dass die obigen Schritte davon ausgehen, dass Sie in einer eigenständigen Umgebung testen. Für Cluster -Umgebungen sind entsprechende Konfigurationsänderungen erforderlich. Weitere detailliertere und neueste Konfigurationsinformationen finden Sie in der offiziellen Hadoop -Dokumentation.

Das obige ist der detaillierte Inhalt vonWie man Debian Hadoop testet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!