Hadoopクラスタサーバーのインストールと設定チュートリアル（写真とテキスト）

この記事の内容は、Hadoop クラスター サーバーのインストールと構成に関するチュートリアル (写真とテキスト) です。必要な方は参考にしていただければ幸いです。

仮想マシンと Linux システムのインストール方法は、これまでの 2 つの共有で詳しく紹介されており、各ステップは図で示されています。それでも理解できない友人がいるなら、私にできることは何もありません。この記事では主に Hadoop サーバー オペレーティング システムの構成について詳しく説明します。Hadoop のインストールについては、次の記事で詳しく紹介します。
Hadoop のインストール パッケージは DKHadoop ディストリビューションを使用します。個人的には、DKHadoop のインストール プロセスは比較的簡単だと思います。dkhadoop のインストールについては、次の共有で詳しく紹介します。この記事のテーマであるサーバー オペレーティング システムの構成チュートリアル

1. インストール パッケージの準備 仮想マシンの分散インストールに進みます。 (仮想マシンが3台以上の場合)
パソコンがWindows系またはLinux系で、仮想マシン上に仮想サーバが3台ある場合は、インストールパッケージをサーバにコピーしてインストール作業を行ってください。
2. 物理クラスタ (3 台以上の物理サーバー)
1. 外部ネットワーク ダウンロード モード
2. インストール パッケージ ファイルを物理サーバーのルート ディレクトリに直接コピーしてインストールします。 。 やるだけ。
3. アップロード モード
このモードは、サーバーがコンピュータ ルームにあり、ディスプレイや入力デバイスがない場合に適用されます。
次に、ファイルをローカル コンピュータ (デフォルトはコンピュータ ルームのラップトップ) にインストールし、コンピュータをサーバーに接続し、インストール パッケージの install と DKHInstall をサーバーのルート ディレクトリにアップロードします。

2. サーバー オペレーティング システムの構成チュートリアル

準備が完了したら、まず 3 つのサーバーが相互に ping を実行する必要があります。いわゆる ping は、2 つのデバイス間のネットワークが接続されていることを意味します。データ パケットが一方の端から送信され、もう一方の端で受信された場合、2 つのデバイスが ping できることを意味します。

1. 権限を変更します。
目的: 2 つのインストール パッケージに実行権限を与えます。一部の操作を実行するには権限が不十分です。 install 内にはスクリプトとすべてのコンポーネントがあり、DKHInstall 内にはインストール インターフェイスがあります。
手順: 準備中にインストール パッケージ install と DKHInstall をメイン ノード ディレクトリにコピーした後、ファイルのアクセス許可を変更します。まず、ルート ディレクトリに入り、インストール ディレクトリ install と DKHInstall の権限を次のように変更します。ファイル所有者は読み取り、書き込み、実行が可能、ファイル所有者と同じユーザー グループに属する他のユーザーは読み取りと実行が可能、他のユーザー グループは読み取りと実行が可能です。
コマンド:
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform

2. Hadoop クラスターを構築し、SSH パスワードなしのログインを設定します。目的: Hadoop の操作 Hadoop の開始後、NameNode は SSH (Secure Shell) を介して各 DataNode 上のさまざまなデーモン プロセスを開始および停止します。これには、ノード間で命令を実行するときにパスワードを入力する必要がないことが必要となるため、NameNode が SSH を使用してパスワードなしでログインし、DataName プロセスを開始できるように、パスワードなしの公開キー認証を使用するように SSH を構成する必要があります。 DataNode でも同じ原理です。SSH を使用して、パスワードなしで NameNode にログインすることもできます。

手順:

(1) ローカルホストファイルを修正し、対応関係を記述する
LAN 内の各ホストを区別するために、ホストにホスト名を割り当て、各ホストを接続します。 IP 経由で通信しますが、IP アドレスは覚えにくいため、ホスト名と IP マッピングを設定することで、ホスト間で迅速かつ便利なアクセスを実現できます。
コマンド:
vi /etc/hosts
編集後、Esc キーを押してから Shift: キーを押し、「wq」と入力して編集モードに入ります。その後、戻ります。車は保存できます。 qを入力してください！ Enter を押して保存を諦めて終了します。
編集モードに入ったら、ルールに従ってホストと IP の対応関係を記述します (ホスト名 dk41 は以下のように自分で命名します) 例:

   192.168.1.41    dk41

192.168 .1.42 dk42
192.168.1.43 dk43

編集後、保存して終了します。対応する関係を 2 つ以上の他のマシンにコピーします。 コマンド:

scp -r /etc/hosts 192.168.1.42:/etc

scp -r /etc/hosts 192.168.1.43:/etc
(2) パスワード解除操作を実行する前に
sshpass.sh スクリプトを実行すると、2 つのファイル sshhosts と sshslaves が読み取られ、置き換えられます。
ファイル sshhosts を変更し、すべてのマシンのホスト名を 1 行に 1 つずつ入力します (図のように)以下)
コマンド:
vi /root/DKHPlantform/autossh/sshhosts
編集後、Esc キーを押してから Shift キーを押して、編集モードに入ります。キーを押して wq と入力し、 Enter を押して保存します。 qを入力してください！ Enter を押して保存を諦めて終了します。

ファイル sshslaves を変更し、ホスト名を除くすべてのマシン名を書き込みます (以下を参照)
コマンド:
vi /root/DKHPlantform / autossh/sshslaves
編集後、Esc キーを押してから Shift: キーを押し、wq と入力して Enter を押して保存します。 qを入力してください！ Enter キーを押して保存を中止し、終了します。

(3) クラスターのパスワードなしの作業を実行します。
コマンド:
cd /root /DKHPlantform/autossh
./autossh マスターノードのホスト名 クラスターのパスワード
例: ./autossh dk41 123456
(4) ファイアウォールをオフにする
サーバーへのアクセス時に特定のサービスが傍受されないようにするには場合は、ファイアウォールをオフにする必要があります。
コマンド:
cd /root/DKHPlantform/autossh
./offIptables.sh

##3 デュアルマシンをホットインストールします。 MySQL のバックアップ

目的: Hive メタデータの保存
手順:
(1) mySQL インストール ディレクトリをプライマリ ノードから 2 番目のノードに配布します
コマンド:
scp -r /root/DKHPlantform / mysqlInst/ 192.168.1.42:/root/
(2) マスターノードの実行:
コマンド:実行:
コマンド:
cd /root/mysqlInst/
./mysql.sh 2

(3) 実行が成功したら、ホット バックアップを実行します (両方のマシンで実行する必要があり、両方の IP 交換、41 の上に 42 を書き込み、42 の上に 41 を書き込み、パスワードは MySQL: 123456 です。プラットフォームを変更しないでください):
コマンド:
source /etc/profile#.##./sync.sh 192.168.1.xxx (別の mysql アドレス)

4. #目的: MySQL はリレーショナル データベース管理システムであり、リレーショナル データベースはデータをさまざまなテーブルに保存し、速度と柔軟性を向上させます。

手順:
(1) MySQL データ テーブルをインポートし、メイン ノード上でのみ実行します。
コマンド:
mysql -uroot -p123456 例: mysql -uroot -p123456 /DKHPlantform/dkh.sql
(2) 実行後、2 つの mysql のデータ テーブルが存在するかどうかを確認し、マスター ノードから確認して実行します:
コマンド:
mySQL -uroot -p123456
データベースを表示;
dkh を使用;
テーブルを表示;





5. インストールの開始

目的: サーバーの設定操作が完了したら、DKH を起動します。

手順: 次のコマンドを実行します。 コマンド: cd /root/DKHPlantform/dkh-tomcat*/bin/./startup.sh

6. ローカル タイム サーバーを構築する手順

インターネット接続がないか、システムのインストール時には時刻を利用できません。同期にはローカル タイム サーバーを設定する必要があります。
(1) イントラネット ntp サーバーを構築します
/etc/ntp.conf を変更します
コマンド:
Vim /etc/ntp.conf
キーボードの insert または I キーを押して Enter編集モードに戻ります。編集後、Esc キーを押し、次に Shift: キーを押して、Enter キーを押して保存します。 qを入力してください！ Enter キーを押して保存を中止し、終了します。
次の 3 行を変更します:

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org

server 2.centos.pool.ntp.org

ファイルの最後に次の 2 行を追加します:

server 127.127.1.0

fudge 127.127.1.0 stratum 10

（ 2) ntp サービスを開始します

service ntpd start

(3) 起動時に自動的に開始します

chkconfig ntpd on

(4) クライアントの同期時間
コマンド:
Vim /etc/ntp.conf
編集後、Esc キーを押してから Shift: キーを押し、wq と入力して Enter を押して保存します。 qを入力してください！ Enter キーを押して保存を中止し、ファイルの最後に次の行を追加します:

/15


* root ntpdate 192.168.27.35;hw Clock -w

以上がHadoopクラスタサーバーのインストールと設定チュートリアル（写真とテキスト）の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。