Was ist der HDFS-Befehl?

hdfs-Befehl bezieht sich auf den Befehl des Hadoop-HDFS; 2. Befehl „mkdir“; 6. Befehl „cp“; copyFromLocal-Befehl; 8. get-Befehl; 9. copyToLocal-Befehl usw.

Die Betriebsumgebung dieses Tutorials: Linux5.9.8-System, Dell G3-Computer.

Was ist der hdfs-Befehl?

bezieht sich auf den Befehl des Hadoop HDFS-Systems.

Um das HDFS-System zu betreiben, können Sie Hadoop Fs oder HDFS DFS verwenden, beide haben den gleichen Effekt. (Der Befehl „hadoop dfs“ wird nicht mehr empfohlen)

Einige gängige Befehle des Hadoop-HDFS-Systems

1. Dateioperation „hadoop fs“ (hdfs dfs) ​​​​

• ls zeigt alle Dateien oder Ordner im Verzeichnis an

Verwendung: hadoop fs -ls [URI-Formularverzeichnis]

Beispiel: hadoop fs –ls / Alle Dateien und Verzeichnisse im Stammverzeichnis anzeigen

Sie können die Option -R hinzufügen, um alle Dateien im Verzeichnis anzuzeigen

Beispiel: hadoop fs -ls -R /

• cat Dateiinhalt anzeigen

Verwendung: hadoop fs -cat URI [URI …]

Beispiel: hadoop fs -cat /in/test2.txt

• mkdir Erstellen Verzeichnis

Verwendung: hadoop fs -mkdir [URI-Formularverzeichnis] ​​

Beispiel: hadoop fs –mkdir /test

Erstellen Sie ein mehrstufiges Verzeichnis plus –p

Beispiel: hadoop fs –mkdir -p /a/ b /c

• rm Verzeichnis oder Datei löschen

Verwendung: hadoop fs -rm [Dateipfad] Ordner löschen plus -r

Beispiel: hadoop fs -rm /test1.txt

Löschen Hinzufügen - r in den Ordner

Beispiel: hadoop fs -rm -r /test

• put Kopieren Sie die Datei

Kopieren Sie die Datei in das HDFS-System oder lesen Sie sie von der Standardeingabe. Holen Sie sich die Datei, der dst ist zu diesem Zeitpunkt eine Datei

Verwendung: hadoop fs -put 1eabed82d7f3c226904c1a6b49c7f6cf

Beispiel:

Hadoop fs -put /usr/wisedu/temp/test1.txt /

Dateien aus der Standardeingabe lesen: hadoop fs -put -/in/myword

• cp Dateien im System kopieren

Verwendung: hadoopfs -cp URI [URI …] 6be58d1426a577c69ada50a4bc87dd69

Dateien kopieren von Quellpfad zum Zielpfad. Dieser Befehl ermöglicht mehrere Quellpfade. In diesem Fall muss der Zielpfad ein Verzeichnis sein.

Beispiel:

hadoop fs -cp /in/myword/word

• copyFromLocal Lokale Dateien nach hdfs kopieren

Verwendung: hadoop fs-copyFromLocal b3e6245f968e4d335caa58a859ea3c39 URI

Ähnlich dem Befehl put, außer dass der Quellpfad auf eine lokale Datei beschränkt ist

• get Dateien in das lokale System kopieren

Verwendung: hadoop fs -get[-ignorecrc] [-crc] cbce1a3cf2f839037583dce8e845670b 6f6ffa7fad51158d88c8ae6908c9872c

Dateien in das lokale Dateisystem kopieren. Dateien, die die CRC-Prüfung nicht bestanden haben, können mit der Option -ignorecrc kopiert werden. Verwenden Sie die Option -crc, um die Datei zusammen mit den CRC-Informationen zu kopieren.

Beispiel: hadoop fs -get/word /usr/wisedu/temp/word.txt

• copyToLocal Dateien auf das lokale System kopieren

Verwendung: hadoop fs-copyToLocal [-ignorecrc] [-crc] URI 6f6ffa7fad51158d88c8ae6908c9872c

Ähnlich dem get-Befehl, außer dass der Zielpfad auf eine lokale Datei beschränkt ist.

Beispiel: hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

• mv

Dateien vom Quellpfad in den Zielpfad verschieben. Dieser Befehl ermöglicht mehrere Quellpfade. In diesem Fall muss der Zielpfad ein Verzeichnis sein. Das Verschieben von Dateien zwischen verschiedenen Dateisystemen ist nicht zulässig.

Verwendung: hadoop fs -mv URI [URI …] 6be58d1426a577c69ada50a4bc87dd69

Beispiel: hadoop fs -mv /in/test2.txt /test2.txt

• du Dateigröße anzeigen

Anzeige die Größe aller Dateien im Verzeichnis. O Verwendung: Hadoop FS -DU URI [URI ...]

Beispiel: Hadoop FS -DU /

Zeigt die Größe des aktuellen Verzeichnisses oder Ordners an

touchz Erstellen Sie eine leere Datei

• Verwendung: hadoop fs -touchz URI [URI …]
  Erstellen Sie eine leere Datei mit 0 Bytes

Beispiel: hadoop fs -touchz /empty.txt

chmod ändert Dateiberechtigungen

• Verwendung: hadoop fs -chmod[-R] 2bcfb44ba9e91ff78c42a769f0643c34 Ähnlich dem Befehl chmod auf der Linux-Plattform: Dateiberechtigungen ändern. Die Verwendung von -R führt dazu, dass Änderungen rekursiv über die Verzeichnisstruktur vorgenommen werden. Der Benutzer des Befehls muss der Eigentümer der Datei oder der Superuser sein.

  Beispiel: Erstellen Sie zuerst einen normalen Benutzertest: sudo useradd -m test

  und verwenden Sie dann den Benutzer wisedu, um die Datei hello.txt im HDFS-Systemverzeichnis /a zu erstellen. Zu diesem Zeitpunkt hat test die Berechtigung, / zu lesen. a/hello.txt-Datei. Wie unten gezeigt:

  切 wechselt zurück zum WISEDU-Benutzer, um die Dateiberechtigungen zu ändern, sodass die Dateien im /A-Verzeichnis für andere Benutzer nicht lesbar sind, Befehl: Hadoop FS -CHMOD - R O -R /A wie in der Abbildung unten gezeigt, dann zurück wechseln, um zurückzukommen, und dann zurück wechseln, um zurückzukommen. Wenn der Testbenutzer die Datei /a/hello.txt anzeigt, wird er darauf hingewiesen, dass keine Berechtigung vorliegt:

  chown Ändern Sie den Dateieigentümer
  Verwendung: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI]

  Ändern Sie den Eigentümer der Datei. Die Verwendung von -R führt dazu, dass Änderungen rekursiv über die Verzeichnisstruktur vorgenommen werden. Der Benutzer des Befehls muss ein Superuser sein.

  Beispiel: hadoop fs -chown -R test /a Wie unten gezeigt:

  chgrp Ändern Sie die Gruppe, in der sich die Datei befindet
  Verwendung: hadoop fs -chgrp [-R] GRUPPEN-URI [URI …]

  Ändern Sie die Gruppe, zu der die Datei gehört. Die Verwendung von -R führt dazu, dass Änderungen rekursiv über die Verzeichnisstruktur vorgenommen werden. Der Benutzer des Befehls muss der Eigentümer der Datei oder der Superuser sein.

  Beispiel: hadoop fs -chgrp -R test /a Wie unten gezeigt:

  2. hdfs dfsadmin-Verwaltungsbefehl

  1) -report

  Zeigen Sie die grundlegenden Informationen und statistischen Informationen des Dateisystems an.

  Beispiel: hdfs dfsadmin -report

  2) -safemode

  enter |. Der abgesicherte Modus ist ein Zustand des NameNode, in dem der NameNode keine Änderungen am Namespace akzeptiert (schreibgeschützt); Blöcke werden nicht kopiert oder gelöscht. NameNode wechselt beim Start automatisch in den abgesicherten Modus. Wenn der Mindestprozentsatz an Konfigurationsblöcken die Mindestanzahl an Replikaten erreicht, wird der abgesicherte Modus automatisch verlassen. „Eintreten“ bedeutet „eintreten“ und „verlassen“ bedeutet „gehen“.

  Beispiel: hdfs dfsadmin -safemode get

  hdfsdfsadmin -safemode enter

  3) -refreshNodes

  Hosts erneut lesen und Dateien ausschließen, damit neue Knoten oder Knoten, die den Cluster verlassen müssen, von NameNode erneut identifiziert werden können. Dieser Befehl wird beim Hinzufügen eines Knotens oder beim Abmelden eines Knotens verwendet.

  Beispiel: hdfs dfsadmin -refreshNodes

  4) -finalizeUpgrade

  Endgültiger HDFS-Upgrade-Vorgang. Der DataNode löscht das Arbeitsverzeichnis der vorherigen Version und der NameNode macht danach dasselbe.

  5) -upgradeProgress

  Details |. erzwingen: Details zum Upgrade-Status | hadoop.log.dir In der Datei 9a2c7908bec70c68979a32cfbab3ed40 im durch das Attribut angegebenen Verzeichnis.

  7) -setQuota91363e4d07f5c5dd93a0d7aa611d90c0635058c94e19ffeddfb72b34fa0e8ce3......635058c94e19ffeddfb72b34fa0e8ce3

  Kontingent91363e4d07f5c5dd93a0d7aa611d90c0 für jedes Verzeichnis 635058c94e19ffeddfb72b34fa0e8ce3 festlegen. Das Verzeichniskontingent ist eine lange Ganzzahl, die die Festlegung der Anzahl der Namen im Verzeichnisbaum erzwingt.

  8) -clrQuota635058c94e19ffeddfb72b34fa0e8ce3…635058c94e19ffeddfb72b34fa0e8ce3

  Kontingenteinstellungen für jedes Verzeichnis 635058c94e19ffeddfb72b34fa0e8ce3 löschen.

  9) -Hilfe

  Hilfeinformationen anzeigen

  Weitere Informationen zu diesem Thema finden Sie in der Spalte „FAQ“!

Das obige ist der detaillierte Inhalt vonWas ist der HDFS-Befehl?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!