Quels sont les trois composants majeurs de Hadoop

Hadoop comprend trois composants principaux : 1. HDFS, un système de fichiers distribué hautement fiable et à haut débit ; 2. MapReduce, un cadre de calcul parallèle hors ligne distribué ; 3. Yarn, un cadre de gestion des ressources distribuées.

L'environnement d'exploitation de cet article : système Windows 7, ordinateur Dell G3.

Trois composants majeurs de hadoop :

1 HDFS

Un système de fichiers distribué hautement fiable et à haut débit <.>

Stockage de données massives

Distribué

Sécurité

Copier les données

Les données sont stockées en blocs, 128M

Pour exemple : 200M—128M 72M

2. MapReduce

Un cadre informatique parallèle hors ligne distribué

pour le traitement massif de données

Distribué

Idéologie :

Diviser pour conquérir

Un grand ensemble de données est divisé en petits ensembles de données

Chaque ensemble de données Effectuer un traitement métier logique (carte)

Fusionner les résultats des données statistiques (réduire)

3. Yarn

Cadre de gestion des ressources distribuées

Gérer les ressources de l'ensemble du cluster ( mémoire, cœurs CPU)

Allocation et planification des ressources du cluster

Recommandations vidéo associées :

Programmation PHP de l'entrée à la maîtrise

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!