Tutoriel d'installation et de configuration du serveur de cluster hadoop (image et texte)

Le contenu de cet article concerne le didacticiel d'installation et de configuration (images et texte) du serveur de cluster Hadoop. Il a une certaine valeur de référence. Les amis dans le besoin peuvent s'y référer.

L'installation de machines virtuelles et de systèmes Linux a été présentée en détail dans les deux articles précédents, et chaque étape a été illustrée par des images. S’il y a des amis qui ne comprennent toujours pas, je ne peux rien faire pour les aider. Cet article explique principalement en détail la configuration du système d'exploitation du serveur Hadoop qui sera présentée en détail dans le prochain article.
Le package d'installation de hadoop utilise la distribution DKHadoop Personnellement, je pense que le processus d'installation de DKHadoop est relativement simple. Je présenterai l'installation de dkhadoop en détail dans le prochain partage. Passons au sujet de cet article - Tutoriel de configuration du système d'exploitation du serveur

Préparation du package d'installation
1. (Trois machines virtuelles ou plus)
S'il s'agit d'un ordinateur personnel système Windows ou Linux et qu'il y a trois serveurs virtuels sur la machine virtuelle, copiez simplement le package d'installation sur le serveur et effectuez l'opération d'installation.
2. Cluster physique (trois serveurs physiques ou plus)
1. Mode de téléchargement sur réseau externe
2. Mode fichier local
Copiez le fichier du package d'installation directement dans le répertoire racine du serveur physique pour l'installation. . Fais-le c'est tout.
3. Mode de téléchargement
Ce mode est appliqué lorsque le serveur est dans la salle informatique et qu'il n'y a pas de périphériques d'affichage et de saisie.
Installez maintenant le fichier sur l'ordinateur local (la valeur par défaut est un ordinateur portable, dans la salle informatique), connectez l'ordinateur au serveur et téléchargez l'installation du package d'installation et DKHInstall dans le répertoire racine du serveur.

2. Tutoriel de configuration du système d'exploitation du serveur
Une fois la préparation terminée, l'opération de configuration du serveur doit être effectuée. Tout d'abord, les trois serveurs doivent se cingler. Le soi-disant ping signifie que le réseau entre les deux appareils est connecté. Si un paquet de données est envoyé d'une extrémité et reçu par l'autre extrémité, cela signifie que les deux appareils peuvent envoyer une requête ping.
1. Modifier les autorisations
Objectif : faire en sorte que les deux packages d'installation install et DKHInstall aient des autorisations exécutables. Autorisations insuffisantes pour effectuer certaines opérations. À l’intérieur de l’installation se trouvent les scripts et tous les composants, et à l’intérieur de DKHInstall se trouve l’interface d’installation.
Étapes : Après avoir copié l'installation du package d'installation et DKHInstall dans le répertoire du nœud principal pendant la préparation, modifiez les autorisations du fichier. Tout d'abord, entrez dans le répertoire racine et modifiez les autorisations des répertoires d'installation install et DKHInstall comme suit : le propriétaire du fichier peut lire, écrire et exécuter, les autres utilisateurs appartenant au même groupe d'utilisateurs que le propriétaire du fichier peuvent lire et exécuter, et d'autres groupes d'utilisateurs peuvent lire et exécuter.
Commande :
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform

2. Configurez le cluster Hadoop et configurez la connexion SSH sans mot de passe
Objectif : Hadoop en cours d'exécution Le processus démon Hadoop distant doit être géré pendant le processus. Une fois Hadoop démarré, NameNode démarre et arrête divers processus démon sur chaque DataNode via SSH (Secure Shell). Cela nécessite que vous n'ayez pas besoin de saisir un mot de passe lors de l'exécution d'instructions entre les nœuds, nous devons donc configurer SSH pour utiliser l'authentification par clé publique sans mot de passe, afin que NameNode utilise SSH pour se connecter sans mot de passe et démarrer le processus DataName. même principe, sur le DataNode Vous pouvez également utiliser SSH pour vous connecter au NameNode sans mot de passe.
Étapes :
(1) Modifier le fichier d'hôtes local et écrire la relation correspondante
Afin de distinguer chaque hôte du LAN, un nom d'hôte sera attribué à l'hôte, et chaque hôte sera connecté via IP Communicate, mais l'adresse IP n'est pas pratique à retenir, donc la configuration du nom d'hôte et du mappage IP peut permettre un accès rapide et pratique entre les hôtes.
Commande :
vi /etc/hosts
Entrez dans le mode d'édition en appuyant sur la touche Insert ou I du clavier. Après l'édition, appuyez sur la touche Échap puis appuyez sur la touche Shift+ :, entrez wq et. puis revenez La voiture peut être sauvée. Entrez q ! Appuyez sur Entrée pour abandonner l'enregistrement et quitter.
Après être entré dans le mode d'édition, écrivez la relation correspondante entre l'hôte et l'IP selon les règles (le nom d'hôte dk41 est nommé par vous-même, comme indiqué ci-dessous) Exemple :

   192.168.1.41    dk41

192.168.1.42 dk42
192.168.1.43 dk43

Après l'édition, enregistrez et quittez. Copiez la relation correspondante sur deux ou plusieurs autres machines.
Commande :
scp -r /etc/hosts 192.168.1.42:/etc
scp -r /etc/hosts 192.168.1.43:/etc
(2) Exécuter une opération sans mot de passe entre les clusters Travail de préparation
Lors de l'exécution du script sshpass.sh, il lira les deux fichiers sshhosts et sshslaves, remplacera
modifiera le fichier sshhosts, saisira les noms d'hôte de toutes les machines, un nom d'hôte par ligne (comme indiqué ci-dessous)
Commande :
vi /root/DKHPlantform/autossh/sshhosts
Entrez dans le mode d'édition en appuyant sur la touche Insert ou I du clavier. Après l'édition, appuyez sur la touche Échap puis appuyez sur la touche Shift+ : et. entrez wq , puis appuyez sur Entrée pour enregistrer. Entrez q ! Appuyez sur Entrée pour abandonner l'enregistrement et quitter.

Modifiez le fichier sshslaves et écrivez tous les noms de machines à l'exception du nom d'hôte (comme indiqué ci-dessous)
Commande :
vi /root/DKHPlantform / autossh/sshslaves
Entrez dans le mode d'édition en appuyant sur la touche Insert ou I du clavier. Après l'édition, appuyez sur la touche Échap, puis appuyez sur la touche Shift+ :, entrez wq et appuyez sur Entrée pour enregistrer. Entrez q ! Appuyez sur Entrée pour abandonner l'enregistrement et quitter

(3) Exécuter le travail sans mot de passe du cluster
Commande :
cd /root. /DKHPlantform/autossh
./autossh Nom d'hôte du nœud maître Mot de passe du cluster
Exemple : ./autossh dk41 123456
(4) Désactivez le pare-feu
Pour empêcher certains services d'être interceptés lors de l'accès au serveur , vous devez désactiver le pare-feu .
Commande :
cd /root/DKHPlantform/autossh
./offIptables.sh

3. Installer une double machine Sauvegarde à chaud MySQL
Objectif : stocker les métadonnées de Hive
Étapes :
(1) Distribuer le répertoire d'installation MySQL du nœud principal au deuxième nœud
Commande :
scp -r /root/DKHPlantform /mysqlInst/ 192.168.1.42:/root/
(2) Exécution du nœud maître :
Commande :                                                                                                                                                         Exécuter :
Commande :
cd /root/mysqlInst/
./mysql.sh 2

(3) Après une exécution réussie, effectuez une sauvegarde à chaud (doit être exécutée sur les deux machines, les deux machines échangent IP, écrivez 42 au-dessus de 41, écrivez 41 au-dessus de 42, le mot de passe est MySQL : 123456. Il a été défini dans la plateforme, merci de ne pas le modifier) :
Commande :

source /etc/profile

./sync.sh 192.168.1.xxx (une autre adresse mysql)
Créer une base de données.
Objectif : MySQL est un système de gestion de base de données relationnelle, et la base de données relationnelle enregistre les données dans différentes tables, augmente la vitesse et améliore la flexibilité.
Étapes :
(1) Importez la table de données MySQL et exécutez-la uniquement sur le nœud principal :
Commande :
mysql -uroot -p123456 Par exemple : mysql -uroot -p123456 /DKHPlantform/dkh.sql
(2) Après exécution, vérifier si les tables de données des deux mysql existent, et vérifier et exécuter à partir du nœud maître :
Commande :
mySQL -uroot -p123456
afficher les bases de données ;
utiliser dkh;
afficher les tables;

5. Démarrez l'installation Objectif : Une fois l'opération de configuration du serveur terminée, démarrez DKH.

Étape : Exécutez la commande suivante.

Commande :
cd /root/DKHPlantform/dkh-tomcat*/bin/
./startup.sh
6. Étapes d'établissement du serveur d'heure locale
Il n'y a pas de connexion Internet ni d'heure. n'est pas disponible lors de l'installation du système. La synchronisation nécessite la configuration d'un serveur de temps local.
(1) Construire un serveur ntp intranet
Modifier /etc/ntp.conf
Commande :
Vim /etc/ntp.conf
En appuyant sur la touche insert ou I du clavier Entrée le mode d'édition. Après l'édition, appuyez sur la touche Échap, puis appuyez sur la touche Maj+: Entrez wq et appuyez sur Entrée pour enregistrer. Entrez q ! Appuyez sur Entrée pour abandonner la sauvegarde et quitter
Modifiez les trois lignes suivantes :

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org.

server 2.centos.pool.ntp.org

Ajoutez les deux lignes suivantes à la fin du fichier :

server 127.127.1.0

fudge 127.127.1.0 stratum 10

( 2) Démarrez le service ntp
service ntpd start
(3) Démarrez automatiquement au démarrage
chkconfig ntpd sur
(4) Heure de synchronisation du client
Commande :
Vim /etc/ntp.conf
Entrez en mode édition en appuyant sur la touche Insert ou I du clavier. Après l'édition, appuyez sur la touche Échap puis appuyez sur la touche Shift+:, entrez wq et appuyez sur Entrée pour enregistrer. Entrez q ! Appuyez sur Entrée pour abandonner l'enregistrement et quitter
Ajoutez une ligne à la fin du fichier :

/15

* root ntpdate 192.168.27.35;hwclock -w<.>

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!