Comment tester Debian Hadoop

Cet article vous guide pour installer et tester Apache Hadoop sur votre système Debian. Les étapes suivantes fourniront une description détaillée du processus de configuration et des méthodes de vérification.

Étape 1: Installer Java

Assurez-vous que le système a installé Java 8 ou supérieur. Installez OpenJDK 8 en utilisant la commande suivante:

 Mise à jour Sudo Apt
sudo apt install openjdk-8-jdk

Vérifiez l'installation:

 Java-Version

Étape 2: Télécharger et décompresser Hadoop

Téléchargez la dernière version de Hadoop à partir du site officiel d'Apache Hadoop et déziptez-le dans le répertoire spécifié (par exemple /usr/local/hadoop ):

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
TAR -XZVF HADOOP-3.3.1.tar.gz -c / usr / local / hadoop
`` `(Veuillez remplacer` Hadoop-3.3.1` par le numéro de version réel)


** Étape 3: Configurer les variables d'environnement **

Modifiez le fichier `~ / .bashrc` et ajoutez les variables d'environnement suivantes:

`` `bash
exporter hadoop_home = / usr / local / hadoop
Export Path = $ Path: $ hadoop_home / bin: $ hadoop_home / sbin

Faire prendre effet les modifications:

 Source ~ / .Bashrc

Étape 4: Configurer le fichier de configuration de Hadoop

Modifiez le fichier de configuration dans le répertoire Hadoop:

• core-site.xml :

<configuration>
  <property>
    <name>Fs.defaultfs</name>
    <value>hdfs: // namenode: 9000</value>
  </property>
</configuration>

• hdfs-site.xml :

<configuration>
  <property>
    <name>dfs.réplication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.nameNode.name.dir</name>
    <value>/ usr / local / hadoop / dfs / nom</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/ usr / local / hadoop / dfs / data</value>
  </property>
</configuration>

• mapred-site.xml :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>fil</value>
  </property>
</configuration>

• yarn-site.xml :

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>MapReduce_Shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

Étape 5: Format HDFS

Sur le nœud NameNode, exécutez la commande suivante pour formater HDFS:

 hdfs namenode -format

Étape 6: Démarrez le service Hadoop

Démarrer NameNode et Datanode sur le nœud NameNode:

 start-dfs.sh

Démarrez le fil sur le nœud ResourceManager:

 start-yarn.sh

Étape 7: Test de mode local

Passez à l'utilisateur de Hadoop:

 su - Hadoop

Créer des répertoires et des fichiers d'entrée:

 mkdir ~ / entrée
vi ~ / input / data.txt

Entrez les données de test (par exemple "Hello World", "Hello Hadoop"), enregistrez et sortez.

Exemple d'exemple de compte:

 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*..jar wordCount ~ / input / data.txt ~ / sortie
`` `(Veuillez l'ajuster en fonction du nom du fichier de package JAR réel)

Voir les résultats:

`` `bash
ls ~ / sortie
Cat ~ / Output / Part-R-00000

La sortie correcte indique que le mode local Hadoop s'exécute avec succès. Veuillez noter que les étapes ci-dessus supposent que vous testez dans un environnement autonome. Pour les environnements de cluster, des modifications de configuration correspondantes sont nécessaires. Assurez-vous de vous référer à la documentation officielle de Hadoop pour des informations de configuration plus détaillées et plus détaillées.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!