hdfsコマンドとは何ですか

hdfs コマンドは、Hadoop hdfs システムのコマンドを指します。その共通コマンドには、1. ls コマンド、2. cat コマンド、3. mkdir コマンド、4. rm コマンド、5. put コマンド、6. cp が含まれます。コマンド ;7.copyFromLocal コマンド;8.get コマンド;9.copyToLocal コマンド;10.mv コマンドなど

#このチュートリアルの動作環境: linux5.9.8 システム、Dell G3 コンピューター。

hdfs コマンドとは何ですか?

は、Hadoop hdfs システムのコマンドを指します。

hdfs システムを操作するには、hadoop fs または hdfs dfs を使用できます。どちらも同じ効果があります。 (hadoop dfs コマンドは推奨されなくなりました)

Hadoop hdfs システムでよく使用されるコマンド

1. hadoop fs (hdfs dfs) ファイル操作

• ls は、ディレクトリ

内のすべてのファイルまたはフォルダーを表示します。使用法: hadoop fs -ls [uri form directory]

例: hadoop fs –ls / ルート ディレクトリ内のすべてのファイルとディレクトリを表示します。

-R オプションを追加すると、ディレクトリ内のすべてのファイルを表示できます。

例: hadoop fs -ls -R /

• cat ファイルの内容の表示

使用法: hadoop fs -cat URI [URI …]

例: hadoop fs - cat /in/ test2.txt

• mkdir ディレクトリの作成

使用法: hadoop fs -mkdir [uri フォーム ディレクトリ]

例: hadoop fs –mkdir /test

複数レベルのディレクトリと –p を作成する

例: hadoop fs –mkdir -p /a/b/c

• rm ディレクトリまたはファイルを削除します。

使用法: hadoop fs -rm [ファイル パス] フォルダーを削除し、-r

を追加します。例: hadoop fs - rm /test1 .txt

フォルダーを削除し、-r を追加します。

例: hadoop fs -rm -r /test

• put ファイルをコピーします

ファイルを hdfs システムにコピーするか、標準入力からファイルを読み取ります。 time, dst ファイルです

使用法: hadoop fs -put ...

例:

Hadoop fs -put /usr /wisedu/ temp/test1.txt /

標準入力からファイルを読み取ります: hadoop fs -put -/in/myword

• cp システム内のファイルをコピーします

使用法: hadoopfs -cp URI [URI …]

ファイルをソース パスから宛先パスにコピーします。このコマンドでは複数のソース パスが許可されます。その場合、ターゲット パスはディレクトリである必要があります。

例:

hadoop fs -cp /in/myword/word

• copyFromLocal ローカル ファイルを hdfs にコピーします

使用法: hadoop fs - copyFromLocal URI

ソース パスがローカル ファイルに限定される点を除いて put コマンドと同様です

• get ファイルをローカル システムにコピーします

使用法: hadoop fs -get[-ignorecrc] [-crc]

ファイルをローカル ファイル システムにコピーします。 CRC チェックに失敗したファイルは、-ignorecrc オプションを使用してコピーできます。 CRC 情報とともにファイルをコピーするには、-crc オプションを使用します。

例: hadoop fs -get/word /usr/wisedu/temp/word.txt

• copyToLocal ファイルをローカル システムにコピーします

使用法: hadoop fs-copyToLocal [-ignorecrc] [-crc] URI

get コマンドと似ていますが、ターゲット パスがローカル ファイルに限定される点が異なります。

例: hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

• mv

willファイルはソース パスから宛先パスに移動されます。このコマンドでは複数のソース パスが許可されます。その場合、ターゲット パスはディレクトリである必要があります。異なるファイル システム間でファイルを移動することは許可されていません。

使用法: hadoop fs -mv URI [URI …]

例: hadoop fs -mv /in/test2.txt /test2.txt

• du ファイル サイズの表示

##ディレクトリ内のすべてのファイルのサイズを表示します。

使用法: hadoop fs -du URI [URI ...]

例: hadoop fs -du /

現在のディレクトリまたはフォルダーのサイズを表示するには、次のようにします。オプション -s

を追加できます。 例: hadoop fs -du -s /

• touchz 空のファイルを作成します。

使用法: hadoop fs -touchz URI [URI …]

0 バイトの空のファイルを作成する

例: hadoop fs -touchz /empty .txt

• chmod はファイルのアクセス許可を変更します

使用法: hadoop fs -chmod[-R] URI [URI ...]

は、Linux プラットフォームの chmod コマンドに似ており、ファイルのアクセス許可を変更します。 -R を使用すると、ディレクトリ構造全体に再帰的に変更が加えられます。コマンドのユーザーは、ファイルの所有者またはスーパーユーザーである必要があります。

例: 最初に通常のユーザー テストを作成します: sudo useradd -m test

次に、wisedu ユーザーを使用して hdfs システム ディレクトリ /a に hello.txt ファイルを作成します。この時点で、テストには読み取り機能があります。 /a/hello .txt ファイルの権限は次のとおりです。

wisedu ユーザーに戻った後、ファイルの権限を変更して /a にファイルを作成します。コマンド: hadoop fs - chmod -R o-r /a 以下の図に示すように、テスト ユーザーに切り替えて /a/hello.txt ファイルを表示すると、権限がないことを示すメッセージが表示されます。

• chown ファイル所有者の変更

使用法: hadoop fs -chown [-R] [OWNER][: [GROUP]] URI [URI]

ファイルの所有者を変更します。 -R を使用すると、ディレクトリ構造全体に再帰的に変更が加えられます。コマンドのユーザーはスーパーユーザーである必要があります。

例: hadoop fs -chown -R test /a 以下に示すように:

• chgrp はファイルが配置されているグループを変更します

使用法: hadoop fs -chgrp [-R] GROUP URI [URI ...]

ファイルが属するグループを変更します。 -R を使用すると、ディレクトリ構造全体に再帰的に変更が加えられます。コマンドのユーザーは、ファイルの所有者またはスーパーユーザーである必要があります。

例: hadoop fs -chgrp -R test /a 以下に示すように:

2. hdfs dfsadmin 管理コマンド

1) -report

ファイルシステムの基本情報や統計情報を表示します。

例: hdfs dfsadmin -report

2) -safemode

enter | Leave | get | wait: セーフ モード コマンド。セーフ モードは、NameNode がネームスペースへの変更を受け付けず (読み取り専用)、ブロックがコピーまたは削除されない NameNode の状態です。 NameNode は、起動時に自動的にセーフ モードに入ります。構成ブロックの最小割合がレプリカの最小数を満たすと、自動的にセーフ モードから抜けます。 Enterは入るという意味で、leaveは出るという意味です。

例: hdfs dfsadmin -safemode get

hdfsdfsadmin -safemode enter

3) -refreshNodes

ホストを再読み取り、ファイルを除外して新しいノードを作成しますクラスターから出る必要があるものは、NameNode によって再識別できます。このコマンドは、ノードの追加またはノードの登録を解除する場合に使用します。

例: hdfs dfsadmin -refreshNodes

4) -finalizeUpgrade

HDFS アップグレード操作を終了します。 DataNode は前のバージョンの作業ディレクトリを削除し、その後 NameNode も同じことを行います。

5) -upgradeProgress

status | 詳細 | Force: 現在のシステムのアップグレード ステータスを要求 | アップグレード ステータスの詳細 | 強制アップグレード操作

6) -metasave filename

NameNode のメイン データ構造を、hadoop.log.dir 属性で指定されたディレクトリ内の ファイルに保存します。

7) -setQuota....

各ディレクトリ にクォータを設定します。ディレクトリ クォータは、ディレクトリ ツリーの下にある名前の数を強制的に設定する長整数です。

8) -clrQuota…

各ディレクトリのクォータ設定をクリアします。

9) -help

ヘルプ情報を表示します

関連知識の詳細については、FAQ 列を参照してください。

以上がhdfsコマンドとは何ですかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。