Welche Rolle spielt HDFS in Hadoop?

Die Rolle von HDFS in Hadoop besteht darin, Speicher für große Datenmengen bereitzustellen und einen Datenzugriff mit hohem Durchsatz zu ermöglichen. HDFS ist für den Einsatz auf kostengünstiger Hardware konzipiert und bietet einen hohen Durchsatz für den Zugriff auf Anwendungsdaten. Geeignet für Anwendungen mit sehr großen Datenmengen.

Hadoop ist eine verteilte Systeminfrastruktur, die von der Apache Foundation entwickelt wurde. Benutzer können verteilte Programme entwickeln, ohne die zugrunde liegenden Details der Verteilung zu verstehen. Nutzen Sie die Leistungsfähigkeit von Clustern für Hochgeschwindigkeits-Computing und -Speicherung voll aus.

Hadoop implementiert ein verteiltes Dateisystem (Hadoop Distributed File System), eine seiner Komponenten ist HDFS.

HDFS ist äußerst fehlertolerant und für den Einsatz auf kostengünstiger Hardware konzipiert. Es bietet einen hohen Durchsatz für den Zugriff auf Anwendungsdaten und eignet sich für Anwendungen mit extrem großen Datenmengen. HDFS lockert die POSIX-Anforderungen und kann in Form eines Streaming-Zugriffs auf Daten im Dateisystem zugreifen.

Das Kerndesign des Hadoop-Frameworks ist: HDFS und MapReduce. HDFS bietet Speicher für große Datenmengen, während MapReduce die Berechnung großer Datenmengen ermöglicht.

HDFS

Für externe Clients sieht HDFS wie ein traditionelles hierarchisches Dateisystem aus. Dateien können erstellt, gelöscht, verschoben oder umbenannt werden und vieles mehr. Die Architektur von HDFS basiert jedoch auf einem bestimmten Satz von Knoten (siehe Abbildung 1), der durch seine eigenen Eigenschaften bestimmt wird. Zu diesen Knoten gehören der NameNode (nur einer), der Metadatendienste innerhalb von HDFS bereitstellt, und der DataNode, der Speicherblöcke für HDFS bereitstellt. Dies ist ein Nachteil (Single Point of Failure) der HDFS 1.x-Versionen, da nur ein NameNode vorhanden ist. In der Hadoop 2.x-Version können zwei NameNodes vorhanden sein, wodurch das Problem des Ausfalls eines einzelnen Knotens gelöst wird.

In HDFS gespeicherte Dateien werden in Blöcke unterteilt und diese Blöcke werden dann auf mehrere Computer (DataNodes) kopiert. Dies unterscheidet sich stark von der herkömmlichen RAID-Architektur. Die Größe der Blöcke (standardmäßig 64 MB für 1.x und 128 MB für 2.x) und die Anzahl der kopierten Blöcke werden vom Client beim Erstellen der Datei festgelegt. Der NameNode steuert alle Dateioperationen. Die gesamte Kommunikation innerhalb von HDFS basiert auf dem Standard-TCP/IP-Protokoll.

Weitere Informationen zu diesem Thema finden Sie auf: Chinesische PHP-Website!

Das obige ist der detaillierte Inhalt vonWelche Rolle spielt HDFS in Hadoop?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!