Was ist Hadoop?

Hadoop ist eine von der Apache Foundation entwickelte verteilte Systeminfrastruktur, ein Software-Framework, das in der Lage ist, große Datenmengen zuverlässig, effizient und skalierbar zu verarbeiten. Benutzer können verteilte Programme entwickeln Verständnis der zugrunde liegenden Details der Verteilung.

Benutzer können problemlos Anwendungen entwickeln und ausführen, die riesige Datenmengen auf Hadoop verarbeiten.

Hadoop implementiert ein verteiltes Dateisystem (Hadoop Distributed File System), das als HDFS bezeichnet wird. HDFS ist äußerst fehlertolerant und für den Einsatz auf kostengünstiger Hardware konzipiert. Es bietet einen hohen Durchsatz für den Zugriff auf Anwendungsdaten und eignet sich daher für Anwendungen mit großen Datensätzen. HDFS lockert die POSIX-Anforderungen und kann in Form eines Streaming-Zugriffs auf Daten im Dateisystem zugreifen.

Das Kerndesign des Hadoop-Frameworks ist: HDFS und MapReduce. HDFS bietet Speicher für große Datenmengen, während MapReduce die Berechnung großer Datenmengen ermöglicht.

Hadoop bietet vor allem folgende Vorteile:

● Hohe Zuverlässigkeit. Die Fähigkeit von Hadoop, Daten Stück für Stück zu speichern und zu verarbeiten, ist vertrauenswürdig.

● Hohe Skalierbarkeit. Hadoop verteilt Daten und erledigt Rechenaufgaben zwischen verfügbaren Computerclustern, die problemlos auf Tausende von Knoten erweitert werden können.

● Effizienz. Hadoop kann Daten dynamisch zwischen Knoten verschieben und das dynamische Gleichgewicht jedes Knotens sicherstellen, sodass die Verarbeitungsgeschwindigkeit sehr hoch ist.

● Hohe Fehlertoleranz. Hadoop kann automatisch mehrere Kopien von Daten speichern und fehlgeschlagene Aufgaben automatisch neu verteilen.

● Geringe Kosten. Im Vergleich zu All-in-One-Computern, kommerziellen Data Warehouses und Data Marts wie QlikView und Yonghong Z-Suite ist Hadoop Open Source, sodass die Softwarekosten des Projekts erheblich reduziert werden.

Hadoop wird mit einem in Java geschriebenen Framework geliefert und eignet sich daher ideal für die Ausführung auf Linux-Produktionsplattformen. Anwendungen auf Hadoop können auch in anderen Sprachen, beispielsweise C++, geschrieben werden.

Das obige ist der detaillierte Inhalt vonWas ist Hadoop?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!