qu'est-ce que la commande hdfs

La commande hdfs fait référence à la commande du système Hadoop hdfs. Ses commandes courantes incluent : 1. commande ls ; 2. commande mkdir ; 4. commande rm ; commande copyFromLocal ; 8. commande get ; 9. commande copyToLocal ;

L'environnement d'exploitation de ce tutoriel : système linux5.9.8, ordinateur Dell G3.

Qu'est-ce que la commande hdfs ?

fait référence à la commande du système Hadoop hdfs.

Pour faire fonctionner le système hdfs, vous pouvez utiliser hadoop fs ou hdfs dfs, qui ont tous deux le même effet. (la commande hadoop dfs n'est plus recommandée)

Quelques commandes courantes du système Hadoop hdfs

1. opération de fichier hadoop fs (hdfs dfs) ​​

• ls affiche tous les fichiers ou dossiers du répertoire

Utilisation : hadoop fs -ls [répertoire du formulaire uri]

Exemple : hadoop fs –ls / Afficher tous les fichiers et répertoires du répertoire racine

Vous pouvez ajouter l'option -R pour afficher tous les fichiers du répertoire

Exemple : hadoop fs -ls -R /

• cat Afficher le contenu du fichier

Utilisation : hadoop fs -cat URI [URI …]

Exemple : hadoop fs -cat /in/test2.txt

• mkdir Créer répertoire

Utilisation : hadoop fs -mkdir [répertoire du formulaire uri]

Exemple : hadoop fs –mkdir /test

Créer un répertoire multi-niveaux plus –p

Exemple : hadoop fs –mkdir -p /a/ b /c

• rm Supprimer un répertoire ou un fichier

Utilisation : hadoop fs -rm [chemin du fichier] Supprimer le dossier plus -r

Exemple : hadoop fs -rm /test1.txt

delete Ajouter - r dans le dossier,

Exemple : hadoop fs -rm -r /test

• put Copiez le fichier

Copiez le fichier sur le système hdfs ou lisez-le à partir de l'entrée standard Obtenez le fichier, le dst à ce moment est un fichier

Utilisation : hadoop fs -put b3e6245f968e4d335caa58a859ea3c39 ... 66f6480be339a60aa99e285cc7163a46

Exemple :

Hadoop fs -put /usr/wisedu/temp/test1.txt /

Lire les fichiers à partir de l'entrée standard : hadoop fs -put -/in/myword

• cp Copier les fichiers dans le système

Utilisation : hadoopfs -cp URI [URI …] 6be58d1426a577c69ada50a4bc87dd69

Copier les fichiers depuis chemin source vers chemin de destination. Cette commande autorise plusieurs chemins sources, auquel cas le chemin cible doit être un répertoire.

Exemple :

hadoop fs -cp /in/myword/word

• copyFromLocal Copier les fichiers locaux sur hdfs

Utilisation : hadoop fs-copyFromLocal b3e6245f968e4d335caa58a859ea3c39

get Copier les fichiers sur le système local
Utilisation : hadoop fs -get[-ignorecrc] [-crc] cbce1a3cf2f839037583dce8e845670b 6f6ffa7fad51158d88c8ae6908c9872c

Copier les fichiers sur le système de fichiers local. Les fichiers qui ont échoué à la vérification CRC peuvent être copiés à l'aide de l'option -ignorecrc. Utilisez l'option -crc pour copier le fichier avec les informations CRC.

Exemple : hadoop fs -get/word /usr/wisedu/temp/word.txt

copyToLocal Copier les fichiers sur le système local
Utilisation : hadoop fs-copyToLocal [-ignorecrc] [-crc] URI 6f6ffa7fad51158d88c8ae6908c9872c

Similaire à la commande get sauf que le chemin cible est limité à un fichier local.

Exemple : hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

mv
Déplacez les fichiers du chemin source vers le chemin de destination. Cette commande autorise plusieurs chemins sources, auquel cas le chemin cible doit être un répertoire. Le déplacement de fichiers entre différents systèmes de fichiers n'est pas autorisé.

Utilisation : hadoop fs -mv URI [URI …] 6be58d1426a577c69ada50a4bc87dd69

Exemple : hadoop fs -mv /in/test2.txt /test2.txt

du Afficher la taille du fichier
Afficher la taille de tous les fichiers du répertoire. O Comment utiliser : Hadoop FS -DU URI [URI ...]

Exemple : Hadoop FS -DU /

Afficher la taille du répertoire ou du dossier actuel

touchz Créer un fichier vide

.

Utilisation : hadoop fs -touchz URI [URI …]

• Créer un fichier vide de 0 octets
  Exemple : hadoop fs -touchz /empty.txt

chmod modifie les autorisations du fichier

Utilisation : hadoop fs -chmod[-R] a022822f2b0fb3cf3c2fe0daa5dd3285 URI [URI …]

• Similaire à la commande chmod sur la plateforme Linux, modifiez les autorisations de fichier. L'utilisation de -R entraînera des modifications récursives dans la structure des répertoires. L'utilisateur de la commande doit être le propriétaire du fichier ou le superutilisateur.

  Exemple : créez d'abord un test utilisateur normal : sudo useradd -m test

  , puis utilisez l'utilisateur wisedu pour créer le fichier hello.txt dans le répertoire système hdfs /a. À ce stade, test a l'autorisation de lire le /a. a/hello.txt fichier. Comme indiqué ci-dessous :

  切 revient à l'utilisateur WISEDU pour modifier les autorisations de fichier, afin que les fichiers du répertoire /A ne soient pas lisibles par les autres utilisateurs, commande : Hadoop FS -CHMOD - R O -R /A comme indiqué dans la figure ci-dessous, puis revenez en arrière, puis revenez en arrière. Lorsque l'utilisateur test consulte le fichier /a/hello.txt, il indique qu'il n'y a aucune autorisation :

  chown Changer le propriétaire du fichier
  Utilisation : hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI]

  Changer le propriétaire du fichier. L'utilisation de -R entraînera des modifications récursives dans la structure des répertoires. L'utilisateur de la commande doit être un superutilisateur.

  Exemple : hadoop fs -chown -R test /a Comme indiqué ci-dessous :

  chgrp Changez le groupe où se trouve le fichier
  Utilisation : hadoop fs -chgrp [-R] GROUP URI [URI …]

  Modifiez le groupe auquel appartient le fichier. L'utilisation de -R entraînera des modifications récursives dans la structure des répertoires. L'utilisateur de la commande doit être le propriétaire du fichier ou le superutilisateur.

  Exemple : hadoop fs -chgrp -R test /a Comme indiqué ci-dessous :

  2. Commande de gestion hdfs dfsadmin

  1) -report

  Affichez les informations de base et les informations statistiques du système de fichiers.

  Exemple : hdfs dfsadmin -report

  2) -safemode

  enter | Leave get | Le mode sans échec est un état du NameNode dans lequel le NameNode n'accepte pas les modifications apportées à l'espace de noms (les blocs en lecture seule ne sont ni copiés ni supprimés) ; NameNode entre automatiquement en mode sans échec au démarrage. Lorsque le pourcentage minimum de blocs de configuration atteint le nombre minimum de répliques, il quitte automatiquement le mode sans échec. Entrer signifie entrer et sortir signifie sortir.

  Exemple : hdfs dfsadmin -safemode get

  hdfsdfsadmin -safemode enter

  3) -refreshNodes

  Relisez les hôtes et excluez les fichiers afin que les nouveaux nœuds ou nœuds qui doivent quitter le cluster puissent être ré-identifiés par NameNode. Cette commande est utilisée lors de l'ajout d'un nœud ou de la désinscription d'un nœud.

  Exemple : hdfs dfsadmin -refreshNodes

  4) -finalizeUpgrade

  Opération finale de mise à niveau de HDFS. Le DataNode supprime le répertoire de travail de la version précédente, et le NameNode fait de même par la suite.

  5) -upgradeProgress

  Détails de l'état | forcer : demander l'état de la mise à niveau du système actuel | Détails de l'état de la mise à niveau | Forcer l'opération de mise à niveau

  6) -nom de fichier métasave

  Enregistrer la structure de données principale du NameNode dans hadoop.log.dir Dans le fichier 2334ac29606bf8a170583e4f7533b1f4 dans le répertoire spécifié par l'attribut.

  7) -setQuota91363e4d07f5c5dd93a0d7aa611d90c0635058c94e19ffeddfb72b34fa0e8ce3......635058c94e19ffeddfb72b34fa0e8ce3

  Définissez le quota91363e4d07f5c5dd93a0d7aa611d90c0 pour chaque répertoire 635058c94e19ffeddfb72b34fa0e8ce3. Le quota de répertoire est un entier long qui force la définition du nombre de noms dans l'arborescence de répertoires.

  8) -clrQuota635058c94e19ffeddfb72b34fa0e8ce3…635058c94e19ffeddfb72b34fa0e8ce3

  Effacer les paramètres de quota pour chaque répertoire 635058c94e19ffeddfb72b34fa0e8ce3.

  9) -help

  Afficher les informations d'aide

  Pour plus de connaissances connexes, veuillez visiter la colonne

  FAQ

   !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!