Le cœur de Hadoop est le système de fichiers distribué hdfs et quoi ?

Le cœur de hadoop est le système de fichiers distribué hdfs et MapReduce. HDFS permet le stockage de données massives, tandis que MapReduce permet le calcul de données massives.

Hadoop est une infrastructure système distribuée développée par la Fondation Apache. Les utilisateurs peuvent développer des programmes distribués sans comprendre les détails sous-jacents de la distribution. Exploitez pleinement la puissance des clusters pour le calcul et le stockage à haut débit.

Hadoop implémente un système de fichiers distribué (Hadoop Distributed File System), dont HDFS. HDFS est hautement tolérant aux pannes et conçu pour être déployé sur du matériel à faible coût ; il offre un débit élevé pour accéder aux données d'application, ce qui le rend adapté aux applications disposant de grands ensembles de données.

HDFS assouplit les exigences POSIX et peut accéder aux données du système de fichiers sous forme d'accès en streaming.

La conception de base du framework Hadoop est : HDFS et MapReduce. HDFS permet le stockage de données massives, tandis que MapReduce permet le calcul de données massives.

Hadoop est composé de nombreux éléments. En bas se trouve le système de fichiers distribués Hadoop (HDFS), qui stocke les fichiers sur tous les nœuds de stockage du cluster Hadoop. La couche supérieure de HDFS est le moteur MapReduce, qui se compose de JobTrackers et TaskTrackers. Grâce à l'introduction du système de fichiers distribué de base HDFS et du traitement MapReduce de la plate-forme informatique distribuée Hadoop, ainsi que de l'outil d'entrepôt de données Hive et de la base de données distribuée Hbase, il couvre essentiellement tout le cœur technique de la plate-forme distribuée Hadoop.

Pour plus de connaissances connexes, veuillez visiter : Site Web PHP chinois !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!