hadoop_PHP チュートリアルでよく使用されるコマンドの紹介

Hadoop インストール ディレクトリ HADOOP_HOME が /home/admin/hadoop であると仮定します。
起動とシャットダウン
Hadoopを起動する
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/start-all.shを実行します

Hadoopを閉じる
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/stop-all.sh を実行
ファイル操作
Hadoop は HDFS を使用しており、実現できる機能は私たちが使用しているディスク システムと似ています。また、* などのワイルドカード文字もサポートします。

ファイルリストを表示する
hdfs の /user/admin/aaron ディレクトリ内のファイルを表示します。
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -ls /user/admin/aaron を実行します。この方法で、hdfs の /user/admin/aaron ディレクトリにファイルが見つかります。
hdfs の /user/admin/aaron ディレクトリ内のすべてのファイル (サブディレクトリ内のファイルを含む) を一覧表示することもできます。
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -lsr /user/admin/aaron を実行します

ファイルディレクトリを作成します
hdfs の /user/admin/aaron ディレクトリを表示し、newDir という新しいディレクトリを作成します。 1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -mkdir /user/admin/aaron/newDir を実行します

ファイルを削除する
hdfs の /user/admin/aaron ディレクトリにある needDelete という名前のファイルを削除します1 HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -rm /user/admin/aaron/needDelete を実行します
hdfs 内の /user/admin/aaron ディレクトリとこのディレクトリ内のすべてのファイルを削除します
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -rmr /user/admin/aaron を実行します。

ファイルをアップロードする
ローカルの /home/admin/newFile ファイルを hdfs の /user/admin/aaron ディレクトリにアップロードします1 HADOOP_HOME ディレクトリに入ります。 2. sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/
を実行します。

ファイルをダウンロードする
hdfs の /user/admin/aaron ディレクトリにある newFile ファイルをローカルの /home/admin/newFile にダウンロードします1 HADOOP_HOME ディレクトリに入ります。 2. sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile を実行します

ファイルを表示する
hdfs 内のファイルを直接表示できます。機能は cat に似ています。hdfs の /user/admin/aaron ディレクトリにある newFile ファイルを表示します1 HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs –cat /home/admin/newFileを実行します

MapReduce Job操作
MapReduce Jobの送信原則として、すべてのHadoop MapReduce Jobはjarパッケージです。 /home/admin/hadoop/job.jar で MapReduce ジョブを実行します
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs] を実行します。

実行中のジョブを強制終了します

Job_Id が job_201005310937_0053 であるとします。
1 HADOOP_HOME ディレクトリに入ります。 2. sh bin/hadoop ジョブ -kill job_201005310937_0053 を実行します。

その他の Hadoop コマンド

上記で紹介した Hadoop 操作コマンドは、最もよく使用されるコマンドです。さらに詳しく知りたい場合は、次のようにコマンドの説明を参照してください。 1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop を実行しますさらに多くのコマンド情報が表示されます:


コードをコピーします

コードは次のとおりです:

使用法: hadoop [--config confdir] COMMAND
ここで COMMAND は次のいずれかです:
namenode -format DFS ファイルシステムをフォーマットする
Secondarynamenode DFS セカンダリ namenode を実行する
namenode DFS namenode を実行する
datanode DFS データノードを実行します
dfsadmin を実行しますDFS 管理クライアント
fsck DFS ファイルシステム チェック ユーティリティを実行する
fs 汎用ファイルシステム ユーザー クライアントを実行する
バランサー クラスター分散ユーティリティを実行する
ジョブトラッカー MapReduce ジョブ トラッカー ノードを実行する
Pipes Pipes ジョブを実行する
tasktracker MapReduce タスク トラッカー ノードを実行する
ジョブMapReduce ジョブを操作する
キュー JobQueues に関する情報を取得する
バージョン バージョンを出力する
jar             jar ファイルを実行します
distcp <デスタール>ファイルまたはディレクトリを再帰的にコピーします
archive -archiveName NAME * Hadoop アーカイブを作成します
デーモンログ 各デーモンのログ レベルを取得/設定します
または
CLASSNAME CLASSNAME という名前のクラスを実行します
ほとんどのコマンドは、パラメーターなしで呼び出すとヘルプを表示します

http://www.bkjia.com/PHPjc/327682.htmlwww.bkjia.comtru​​ehttp://www.bkjia.com/PHPjc/327682.html技術記事 Hadoop のインストール ディレクトリ HADOOP_HOME は/home/admin/hadoop です。 Hadoop を起動して停止します 1. HADOOP_HOME ディレクトリに移動します。 2. sh bin/start-all.sh を実行して Hadoop を停止します 1. HADOOP_HOM に移動します...