Comment construire un environnement de développement Hadoop sur Debian

Ce guide détaille comment construire un environnement de développement Hadoop sur un système Debian.

1. Installer Java Development Kit (JDK)

Tout d'abord, installez OpenJDK:

 Mise à jour Sudo Apt
sudo apt install openjdk-11-jdk -y

Configurez la variable d'environnement Java_Home:

 sudo nano / etc / environnement

Ajouter à la fin du fichier (ajustez le chemin en fonction de la version JDK réelle):

 <code>JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"</code>

Enregistrer et sortir, puis exécuter:

 source / etc / environnement

Vérifiez l'installation:

 Java-Version

2. Installer Hadoop

Télécharger Hadoop 3.3.6 (ou toute autre version):

 wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz

Vérifiez l'intégrité du téléchargement:

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz.sha512
Sha256Sum -C Hadoop-3.3.6-src.tar.gz.sha512

Créez un répertoire et unzip:

 sudo mkdir / opt / hadoops
Sudo Tar -xzvf Hadoop-3.3.6-src.tar.gz -c / opt / hadoops - strip-components 1

3. Configurer les variables d'environnement Hadoop

Modifier /etc/profile Fichier et ajouter:

 exporter hadoop_home = "/ opt / hadoops / hadoop-3.3.6"
Export Path = $ Path: $ hadoop_home / bin: $ hadoop_home / sbin

Actualiser les variables d'environnement:

 source / etc / profil

4. Configurer le fichier de configuration de Hadoop Core

Éditer core-site.xml :

 sudo nano $ hadoop_home / etc / hadoop / core-site.xml

Ajouter à:

<configuration>
  <property>
    <name>Fs.defaultfs</name>
    <value>hdfs: // localhost: 9000</value>
  </property>
</configuration>

Modifier hdfs-site.xml :

 sudo nano $ hadoop_home / etc / hadoop / hdfs-site.xml

Ajouter à:

<configuration>
  <property>
    <name>dfs.réplication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.nameNode.name.dir</name>
    <value>/ opt / hadoops / hdfs / namenode</value>
  </property>
</configuration>

Modifier mapred-site.xml :

 sudo nano $ hadoop_home / etc / hadoop / mapred-site.xml

Ajouter à:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>fil</value>
  </property>
</configuration>

Edit yarn-site.xml :

 sudo nano $ hadoop_home / etc / hadoop / yarn-site.xml

Ajouter à:

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>MapReduce_Shuffle</value>
  </property>
</configuration>

5. Définir SSH sans connexion de mot de passe

Générer la clé SSH:

 Sudo Su - Hadoop
ssh-keygen -t rsa -p ""

Copiez la clé publique:

 chat ~ / .ssh / id_rsa.pub >> ~ / .ssh / autorisé_keys

Connexion de test:

 ssh localhost

6. Format namenode

 hdfs namenode -format

7. Démarrer le service Hadoop

 start-dfs.sh
start-yarn.sh

8. Vérifiez l'installation de Hadoop

Vérifier l'état du cluster:

 HDFS DFSADMIN -REPORT

Visitez l'interface Web de Namenode: http://localhost:9870

Après avoir terminé les étapes ci-dessus, l'environnement de développement de Hadoop sur votre système Debian est terminé. Veuillez ajuster la version Path and Hadoop en fonction de la situation réelle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!