ホームページ >システムチュートリアル >Linux >CentOSにApache Hadoopをインストール！
CentOSにApache Hadoopをインストール！
- PHPz転載
- 2024-01-07 09:14:19983ブラウズ
| Apache Hadoop ソフトウェア ライブラリは、単純なプログラミング モデルを使用して、コンピューター クラスター上で大規模なデータ セットの分散処理を可能にするフレームワークです。 Apache™ Hadoop® は、信頼性が高く、スケーラブルな分散コンピューティングのためのオープンソース ソフトウェアです。 |
Hadoop Common: 他の Hadoop モジュールをサポートする共通ツール。
- Hadoop 分散ファイル システム (HDFS™): アプリケーション データへの高スループット アクセスのサポートを提供する分散ファイル システム。
- Hadoop YARN: ジョブ スケジューリングおよびクラスター リソース管理フレームワーク。
- Hadoop MapReduce: 大規模なデータ セット用の YARN ベースの並列処理システム。
- この記事は、CentOS に Hadoop をインストールし、単一ノードの Hadoop クラスターを構成する手順を段階的に説明します。
Javaのインストール
Hadoop をインストールする前に、Java がシステムにインストールされていることを確認してください。このコマンドを使用して、インストールされている Java のバージョンを確認します。 リーリーJava をインストールまたは更新するには、以下の段階的な手順を参照してください。
最初のステップは、Oracle 公式 Web サイトから Java の最新バージョンをダウンロードすることです。
リーリーJava の新しいバージョンを代替として使用するにはセットアップが必要です。これを行うには、次のコマンドを使用します。
リーリーここで、javac および jar コマンド パスを設定するために、alternatives コマンドを使用する必要がある場合もあります。
リーリー次のステップは、環境変数を構成することです。これらの変数を正しく設定するには、次のコマンドを使用します。
JAVA_HOME変数を設定します:
リーリーJRE_HOME 変数を設定します:
リーリーPATH 変数を設定します:
リーリーApache Hadoop をインストールする
Java 環境をセットアップした後。 Apache Hadoop のインストールを開始します。最初のステップは、Hadoop インストール用のシステム ユーザー アカウントを作成することです。
リーリー次に、ユーザー hadoop の ssh キーを構成する必要があります。次のコマンドを使用して、パスワードなしの ssh ログインを有効にします。
リーリー次に、Hadoop の利用可能な最新バージョンを公式 Web サイト hadoop.apache.org からダウンロードします。
リーリー次のステップは、Hadoop で使用される環境変数を設定することです。
~/.bashrc を編集し、ファイルの末尾に次の値を追加します。
リーリー現在の実行環境に変更を適用します。
リーリー$HADOOP_HOME/etc/hadoop/hadoop-env.sh を編集し、JAVA_HOME 環境変数を設定します。
リーリー次に、基本的な Hadoop シングルノード クラスターの構成から始めます。
まず、Hadoop 構成ファイルを編集し、次の変更を加えます。
リーリーcore-site.xml を編集しましょう。
リーリー次に、hdfs-site.xml を編集します:
リーリーそして、mapred-site.xml を編集します:
リーリー最終編集yarn-site.xml:
リーリー次のコマンドを使用して、namenode をフォーマットします:
リーリーすべての Hadoop サービスを開始するには、次のコマンドを使用します:
リーリーすべてのサービスが正常に起動するかどうかを確認するには、jps コマンドを使用します。
リーリー次のような出力が表示されるはずです。
リーリーこれで、ブラウザで Hadoop サービスにアクセスできるようになります: http://your-ip-address:8088/。
ハドゥープ
以上がCentOSにApache Hadoopをインストール！の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。