DebianがHadoopを他のツールと統合する方法

このガイドでは、Java Environment Construction、Hadoop Configuration、Cluster Startup、Managementなどの重要な手順をカバーするDebianシステムにHadoopやその他のツールを統合する方法について詳しく説明しています。

1。Java環境の準備

まず、システムがJava 8以降がインストールされていることを確認してください。次のコマンドを使用してOpenJDK 8をインストールします。

 sudo aptアップデート
sudo apt install openjdk-8-jdk

インストールの確認：

 Java -version

2。Hadoopのダウンロードと減圧

Apache Hadoopの公式WebサイトからHadoopインストールパッケージの最新バージョン（Hadoop 3.3.1など）をダウンロードし、指定されたディレクトリ（ /usr/local/hadoopなど）に解凍します。

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop -3.3.1.tar.gz -c/usr/local/hadoop

3。環境変数構成

~/.bashrcファイルを編集し、次の環境変数を追加します。

 export java_home =/usr/lib/jvm/jdk-8-openjdk-amd64
hadoop_home =/usr/local/hadoopをエクスポートします
エクスポートパス= $ path：$ hadoop_home/bin：$ hadoop_home/sbin

構成を有効にします：

ソース〜/.bashrc

4。Hadoopコア構成

Hadoop Core Configuration Files（ core-site.xml 、 hdfs-site.xml 、 mapred-site.xml 、 yarn-site.xml ）を変更します。以下は構成の例です。

core-site.xml ：

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs：// namenode：9000</value>
  </property>
</configuration>

hdfs-site.xml ：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>DFS.NAMENODE.NAME.DIR</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

mapred-site.xml ：

<configuration>
  <property>
    <name>MapReduce.framework.name</name>
    <value>糸</value>
  </property>
</configuration>

yarn-site.xml ：

<configuration>
  <property>
    <name>Yarn.nodemanager.aux-services</name>
    <value>mapReduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

5。HDFSフォーマット

NameNodeノードで、次のコマンドを実行してHDFをフォーマットします。

 HDFS NAMENODE -FORMAT

6。Hadoopサービスの開始

NameNodeでHadoopサービスを開始します。

 start-dfs.sh
Start-yarn.sh

7。インストール検証

次のコマンドを実行して、Hadoopが正常に開始されていることを確認します。

 HDFS DFS -LS /

または、Hadoop管理インターフェイスにアクセスします。

8。クラスター構成と管理

このステップには、ノード間ネットワーク構成、ストレージスペース構成、JVMパラメーターの最適化、ジョブスケジューリングポリシー設定、AmbariやCloudera Managerなどのツールを使用したクラスター監視と管理が含まれます。

上記の手順を通じて、Debianシステム上のHadoopクラスターの構築と管理に成功することができます。実際の環境に従って構成パラメーターを調整してください。

以上がDebianがHadoopを他のツールと統合する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。