Was sind die drei Hauptkomponenten von Hadoop?

Hadoop besteht aus drei Hauptkomponenten: 1. HDFS, ein äußerst zuverlässiges verteiltes Dateisystem mit hohem Durchsatz; 2. MapReduce, ein verteiltes Offline-Parallel-Computing-Framework; 3. Yarn, ein verteiltes Ressourcenverwaltungs-Framework.

Die Betriebsumgebung dieses Artikels: Windows 7-System, Dell G3-Computer.

Drei Hauptkomponenten von Hadoop:

1, HDFS

Ein hochzuverlässiges verteiltes Dateisystem mit hohem Durchsatz

Speicherung massiver Daten

Verteilte

Sicherheit

Kopieren. Daten

Daten Es wird gespeichert in Form von Blöcken, 128M

zum Beispiel: 200M – 128M 72M

2. MapReduce

Ein verteiltes Offline-Parallel-Computing-Framework

Verarbeitung großer Datenmengen

Verteilt

Ideologie:

Teile und herrsche

Großer Datensatz ist in kleine Datensätze unterteilt

Jeder Datensatz führt eine logische Geschäftsverarbeitung durch (Karte)

Statistische Datenergebnisse zusammenführen (reduzieren)

3. Garn

Verteiltes Ressourcenmanagement-Framework

Verwalten der Ressourcen gesamter Cluster (Speicher, CPU-Kerne)

Zuweisen und Planen der Ressourcen des Clusters

Verwandte Videoempfehlungen:

PHP-Programmierung vom Einstieg bis zur Kompetenz

Das obige ist der detaillierte Inhalt vonWas sind die drei Hauptkomponenten von Hadoop?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!