LinuxにHadoopをインストールする方法

Linux に Hadoop をインストールする方法: 1. ssh サービスをインストールします; 2. パスワード認証なしで ssh を使用してログインします; 3. Hadoop インストール パッケージをダウンロードします; 4. Hadoop インストール パッケージを解凍します; 5. 設定します対応する Hadoop Just ファイル。

この記事の動作環境: ubuntu 16.04 システム、Hadoop バージョン 2.7.1、Dell G3 コンピューター。

Hadoop を Linux にインストールするにはどうすればよいですか?

[ビッグデータ] Linux での Hadoop (2.7.1) のインストールと WordCount の実行の詳細な説明

1. はじめに

その後Storm 環境を構築した後、Hadoop のインストールをいじろうとしました。インターネット上には多くのチュートリアルがありましたが、どれも特に適切なものはなく、インストール プロセスで依然として多くのトラブルに遭遇しました。 「情報、やっと解決しました。質問、まだとても良い気分です。くだらない話はやめて、本題に入りましょう。」

本マシンの構成環境は以下のとおりです。

Hadoop(2.7.1)

Ubuntu Linux (64-bit system)

以下のとおりです。いくつかのステップに分かれています。構成プロセスを詳しく説明しましょう。

2. ssh サービスのインストール

シェルコマンドを入力し、以下のコマンドを入力して ssh サービスがインストールされているかどうかを確認し、インストールされていない場合は、次のコマンドを使用して、 install it:

sudo apt-get install ssh openssh-server

インストールプロセスは比較的簡単で楽しいものです。

3. パスワードなしの認証ログインに ssh を使用する

1. ssh キーを作成します。ここでは、rsa メソッドを使用し、次のコマンドを使用します。

ssh-keygen -t rsa -P ""

2. グラフィックが表示されます。表示されたグラフィックがパスワードです。心配しないでください。

cat ~/. ssh/id_rsa.pub >>authorized_keys (省略されているようです)

3. すると以下のようにパスワード認証なしでログインできるようになります。

##ssh localhost

成功したスクリーンショットは次のとおりです:

4. Hadoop インストール パッケージをダウンロードします

Hadoop インストール用のダウンロードもあります 2 つの方法 # 1. 公式 Web サイトに直接アクセスしてダウンロードします (http://mirrors.hust.edu.cn/apache/hadoop/core) /stable/hadoop-2.7.1.tar.gz

2. シェルを使用してダウンロードします。コマンドは次のとおりです:

wget http://mirrors.hust.edu .cn/apache/hadoop/core/stable/hadoop-2.7.1.tar. gz

2番目の方法の方が早いようですが、長い待ち時間を経て、ようやくダウンロードが完了しました。

5. Hadoop インストール パッケージを解凍します

次のコマンドを使用して、Hadoop インストール パッケージ tar -zxvf hadoop-2.7.1 を解凍します。 tar. gz

解凍が完了すると、hadoop2.7.1 のフォルダが表示されます

6. Hadoop に対応するファイルを設定します

設定する必要があるのは、hadoop-env.sh、core-site.xml、mapred-site.xml.template、hdfs-site.xml で、すべてのファイルは hadoop2.7.1/etc/hadoop の下にあります。構成は次のとおりです。 1.core-site.xml は次のように構成されています。

<configuration>
　　　　　　<property>
　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp</value>
　　　　　　　　<description>Abase for other temporary directories.</description>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　<value>hdfs://localhost:9000</value>
　　　　　　</property>
　　　　</configuration>

hadoop.tmp.dir のパスは、自分の習慣に従って設定できます。

2.mapred-site.xml.template は次のように構成されています。

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>mapred.job.tracker</name>
　　　　　　　　<value>localhost:9001</value>
　　　　　　</property>
　　　　</configuration>

3.hdfs-site.xml は次のように構成されています。

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>dfs.replication</name>
　　　　　　　　<value>1</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.namenode.name.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/name</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.datanode.data.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/data</value>
　　　　　　</property>
　　　　</configuration>

このうち、dfs .namenode.name.dir dfs.datanode.data.dir へのパスは自由に設定できますが、hadoop.tmp.dir のディレクトリ下に設定することができます。

さらに、Hadoop の実行時に jdk が見つからない場合は、次のように jdk のパスを hadoop.env.sh に直接配置できます。

export JAVA_HOME="/ home/leesf/program/java/jdk1.8.0_60"

7. Hadoop の実行

構成が完了したら、hadoop を実行します。 1. HDFS システムを初期化します。

hadop2.7.1 ディレクトリで次のコマンドを使用します。

　　　bin/hdfs namenode -format

スクリーンショットは次のとおりです。

このプロセスには ssh 認証が必要です。すでにログインしているため、初期化プロセスの間に y を入力するだけです。

成功したスクリーンショットは次のとおりです。

初期化が完了したことを示します。

2.

NameNode

および

DataNode

デーモンを起動します。 次のコマンドを使用して起動します。

sbin/ start-dfs.sh、成功したスクリーンショットは次のとおりです:

3. プロセス情報の表示

次のコマンドを使用してプロセス情報を表示します。

jps、スクリーンショットは次のとおりです:

DataNodeとNameNodeの両方がオンになっていることを示します

4. Web UI の表示

ブラウザに http://localhost:50070 と入力すると、関連情報が表示されます。スクリーンショットは次のとおりです。 # この時点で、Hadoop 環境がセットアップされました。 Hadoop を使用して WordCount サンプルを実行してみましょう。

8. WordCount デモの実行

1. ローカルで新しいファイルを作成します。作成者は、home/leesf ディレクトリに新しい Word ドキュメントを作成しました。内容はお好みで。

2. ローカル Word ドキュメントをアップロードするための新しいフォルダーを HDFS に作成し、hadoop2.7.1 ディレクトリに次のコマンドを入力します:

bin/hdfs dfs -mkdir /test (テストを意味します)ディレクトリは HDFS のルート ディレクトリの下に作成されました。

次のコマンドを使用して、HDFS ルート ディレクトリの下のディレクトリ構造を表示します。

bin/hdfs dfs -ls /

特定のスクリーンショット次のように:

… Over welcome] テストディレクトリが HDFS のルートディレクトリの下に作成されました

アップロードするには、次のコマンドを使用します:

bin/hdfs dfs -put /home/leesf/words /test/

次のコマンドを使用して

bin/ hdfs dfs -ls /test/

# を表示します## 結果のスクリーンショットは次のとおりです。

これは、ローカルの Word ドキュメントがテスト ディレクトリにアップロードされたことを意味します。

4. wordcount を実行します。

次のコマンドを使用して wordcount を実行します:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1。 jar wordcount /test /words /test /out

#操作が完了したら、 /テストディレクトリに名前が付けられたファイルを生成し、次のコマンドを使用します/test ディレクトリ内のファイルを表示するには、

bin/hdfs dfs -ls /test

スクリーンショットは次のとおりです。

これは、テスト ディレクトリにあることを意味します。 Out という名前のファイル ディレクトリがすでに存在します。

次のコマンドを入力して、out ディレクトリ内のファイルを表示します。

bin/hdfs dfs -ls /test /out、結果のスクリーンショットは次のとおりです。

これは、正常に実行され、結果がpart-r-00000に保存されたことを意味します。

5. 実行結果を確認します

次のコマンドを使用して実行結果を確認します。

bin/hadoop fs -cat /test/out/part-r-00000

結果のスクリーンショットは次のとおりです。

この時点で、実行プロセスは完了しています。

9. 概要

この Hadoop 構成プロセス中に多くの問題が発生しました。Hadoop1.x と 2.x のコマンドは依然として大きく異なります。構成プロセス Iそれでも問題を 1 つずつ解決し、構成は成功し、多くのことを得ることができました。Hadoop 環境を構成したいすべての庭師の便宜のために、この構成の経験を共有したいと思います。設定プロセスについては、お気軽にご相談ください。ご視聴ありがとうございます~

推奨学習: "

linux ビデオ チュートリアル

"

以上がLinuxにHadoopをインストールする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。