Wie Debian Hadoop in andere Tools integriert

In diesem Leitfaden wird festgelegt, wie Hadoop und andere Tools in das Debian -System integriert werden und wichtige Schritte wie Java -Umgebungskonstruktion, Hadoop -Konfiguration, Cluster -Startup und Management abdecken.

1. Java -Umgebungsvorbereitung

Stellen Sie zunächst sicher, dass Ihr System Java 8 oder höher installiert ist. Installieren Sie OpenJDK 8 mit dem folgenden Befehl:

 sudo APT -Update
sudo apt installieren openjdk-8-jdk

Überprüfen Sie die Installation:

 Java -Version

2. Hadoop Download und Dekompression

Laden Sie die neueste Version des Hadoop -Installationspakets (wie Hadoop 3.3.1) von der offiziellen Website von Apache Hadoop herunter und entpacken Sie es in das angegebene Verzeichnis (z. /usr/local/hadoop ):

 wGet https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop -3.3.1.tar.gz -c/usr/local/hadoop

3. Konfiguration der Umgebungsvariablen

Bearbeiten Sie die ~/.bashrc -Datei und fügen Sie die folgenden Umgebungsvariablen hinzu:

 Exportieren Sie java_home =/usr/lib/jvm/jdk-8-openjdk-amd64
Export hadoop_home =/usr/local/hadoop
Exportpfad = $ Path: $ Hadoop_Home/bin: $ hadoop_home/sbin

Die Konfiguration wirksam machen:

 Quelle ~/.bashrc

4. Hadoop -Kernkonfiguration

Ändern Sie die Hadoop-Kernkonfigurationsdateien ( core-site.xml , hdfs-site.xml , mapred-site.xml , yarn-site.xml ). Das Folgende ist eine Beispielkonfiguration:

core-site.xml :

<configuration>
  <property>
    <name>Fs.DefaultFs</name>
    <value>HDFS: // NAMENODE: 9000</value>
  </property>
</configuration>

hdfs-site.xml :

<configuration>
  <property>
    <name>DFS.Replikation</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/Daten</value>
  </property>
</configuration>

mapred-site.xml :

<configuration>
  <property>
    <name>MAPREDUCE.FRAMEWORK.NAME</name>
    <value>Garn</value>
  </property>
</configuration>

yarn-site.xml :

<configuration>
  <property>
    <name>marn.nodemanager.aux-services</name>
    <value>MAPREDUCE_SHUFFE</value>
  </property>
  <property>
    <name>marn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shuffleHandler</value>
  </property>
</configuration>

5. HDFS -Formatierung

Führen Sie auf dem Namenode -Knoten den folgenden Befehl aus, um HDFs zu formatieren:

 HDFS NAMENODE -Format

6. Hadoop Service beginnt

Starten Sie den Hadoop -Service auf Namenode:

 Start-dfs.sh
Start marn.sh

7. Installationsüberprüfung

Führen Sie den folgenden Befehl aus, um zu überprüfen, ob Hadoop erfolgreich gestartet wird:

 HDFS DFS -LS /

Oder greifen Sie auf die Hadoop -Verwaltungsschnittstelle zu.

8. Clusterkonfiguration und -verwaltung

Dieser Schritt umfasst die Konfiguration zwischen den Noten, die Konfiguration des Speicherplatzes, die JVM-Parameteroptimierung, die Einstellung der Jobplanungsrichtlinien sowie die Clusterüberwachung und -verwaltung unter Verwendung von Tools wie Ambari oder Cloudera Manager.

In den oben genannten Schritten können Sie Hadoop -Cluster im Debian -System erfolgreich erstellen und verwalten. Bitte passen Sie die Konfigurationsparameter an Ihre tatsächliche Umgebung an.

Das obige ist der detaillierte Inhalt vonWie Debian Hadoop in andere Tools integriert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!