qu'est-ce que Hadoop

Hadoop est une infrastructure système distribuée développée par la Fondation Apache, un cadre logiciel capable de traiter de grandes quantités de données ; Hadoop traite les données de manière fiable, efficace et évolutive. Les utilisateurs peuvent développer des programmes distribués sans problème ; comprendre les détails sous-jacents de la distribution.

Les utilisateurs peuvent facilement développer et exécuter des applications qui traitent d'énormes quantités de données sur Hadoop.

Hadoop implémente un système de fichiers distribué (Hadoop Distributed File System), appelé HDFS. HDFS est hautement tolérant aux pannes et conçu pour être déployé sur du matériel à faible coût ; il offre un débit élevé pour accéder aux données d'application, ce qui le rend adapté aux applications disposant de grands ensembles de données. HDFS assouplit les exigences POSIX et permet un accès en streaming aux données du système de fichiers.

La conception de base du framework Hadoop est : HDFS et MapReduce. HDFS permet le stockage de données massives, tandis que MapReduce permet le calcul de données massives.

Hadoop présente principalement les avantages suivants :

● Haute fiabilité. La capacité de Hadoop à stocker et traiter les données petit à petit est digne de confiance.

● Haute évolutivité. Hadoop distribue les données et effectue des tâches informatiques entre les clusters d'ordinateurs disponibles, qui peuvent être facilement étendus à des milliers de nœuds.

● Efficacité. Hadoop peut déplacer dynamiquement les données entre les nœuds et assurer l'équilibre dynamique de chaque nœud, de sorte que la vitesse de traitement est très rapide.

● Haute tolérance aux pannes. Hadoop peut enregistrer automatiquement plusieurs copies de données et redistribuer automatiquement les tâches ayant échoué.

● Faible coût. Comparé aux machines tout-en-un, aux entrepôts de données commerciaux et aux datamarts tels que QlikView et Yonghong Z-Suite, hadoop est open source, le coût logiciel du projet sera donc considérablement réduit.

Hadoop est livré avec un framework écrit en langage Java, il est donc idéal pour fonctionner sur les plateformes de production Linux. Les applications sur Hadoop peuvent également être écrites dans d'autres langages, tels que C++.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!