Que signifie nœud de données ?

DataNode est un nœud logiciel exécuté sur une machine distincte dans une instance HDFS ; généralement un cluster Hadoop contient un NameNode et un grand nombre de DataNodes sont généralement organisés sous la forme de racks, et tous les racks connectent tous les systèmes via un commutateur. .

L'environnement d'exploitation de cet article : système Windows 10, nodejs version 12.19.0, ordinateur Dell G3.

Que signifie datanode ?

DataNode est un nœud logiciel qui s'exécute sur une machine distincte au sein d'une instance HDFS. Généralement, un cluster Hadoop contient un NameNode et un grand nombre de DataNodes. Les DataNodes sont généralement organisés sous forme de racks, et tous les racks connectent tous les systèmes via un commutateur.

DataNodes répondent aux demandes de lecture et d'écriture des clients HDFS. Ils répondent également aux commandes du NameNode pour créer, supprimer et copier des blocs. Le NameNode s'appuie sur des messages de battement de cœur périodiques de chaque DataNode. Chaque message contient un rapport de blocage par rapport auquel le NameNode peut vérifier les mappages de blocs et d'autres métadonnées du système de fichiers. Si le DataNode ne peut pas envoyer de messages de battement de cœur, le NameNode prendra des mesures de réparation. Répliquez à nouveau les blocs manquants sur ce nœud.

Datenode fournit des services de stockage pour les données de fichiers réels.

File block (bloc) : l'unité de stockage la plus basique. Pour le contenu du fichier, la longueur d'un fichier est la taille, puis à partir du décalage 0 du fichier, les fichiers sont divisés et numérotés dans un ordre de taille fixe, et chaque fichier divisé est appelé un bloc. La taille BIock par défaut de HDFS est de 128 Mo.

Différent des systèmes de fichiers ordinaires, dans HDFS, si un fichier est plus petit que la taille d'un bloc de données, il n'occupe pas tout l'espace de stockage de données.

Apprentissage recommandé : "Tutoriel vidéo Nodejs"

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!