DebianにHadoop開発環境を構築する方法

このガイドでは、DebianシステムにHadoop開発環境を構築する方法について詳しく説明しています。

1. Java Development Kit（JDK）をインストールする

まず、OpenJDKをインストールします。

 sudo aptアップデート
sudo apt install openjdk-11-jdk -y

java_home環境変数を構成します：

 sudo nano /etc /環境

ファイルの最後に追加します（実際のJDKバージョンに従ってパスを調整します）：

 <code>JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"</code>

保存して終了してから実行します。

ソース /など /環境

インストールの確認：

 Java -version

2。Hadoopをインストールします

Hadoop 3.3.6（またはその他のバージョン）をダウンロード：

 wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz

ダウンロード整合性を確認します：

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz.sha512
SHA256SUM -C Hadoop-3.3.6-src.tar.gz.sha512

ディレクトリを作成して解凍します。

 sudo mkdir /opt /hadoops
sudo tar -xzvf hadoop-3.3.6-src.tar.gz -c /opt /hadoops  - ストリップコンポーネント1

3. Hadoop環境変数を構成します

/etc/profileファイルを編集して追加します。

 export hadoop_home = "/opt/hadoops/hadoop-3.3.6"
エクスポートパス= $ path：$ hadoop_home/bin：$ hadoop_home/sbin

環境変数を更新します：

ソース /など /プロファイル

4. Hadoopコア構成ファイルを構成します

core-site.xmlを編集：

 sudo nano $ hadoop_home/etc/hadoop/core-site.xml

に追加：

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs：// localhost：9000</value>
  </property>
</configuration>

hdfs-site.xmlを編集：

 sudo nano $ hadoop_home/etc/hadoop/hdfs-site.xml

に追加：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>DFS.NAMENODE.NAME.DIR</name>
    <value>/opt/hadoops/hdfs/namenode</value>
  </property>
</configuration>

mapred-site.xml編集：

 sudo nano $ hadoop_home/etc/hadoop/mapred-site.xml

に追加：

<configuration>
  <property>
    <name>MapReduce.framework.name</name>
    <value>糸</value>
  </property>
</configuration>

yarn-site.xmlを編集：

 sudo nano $ hadoop_home/etc/hadoop/yarn-site.xml

に追加：

<configuration>
  <property>
    <name>Yarn.nodemanager.aux-services</name>
    <value>mapReduce_shuffle</value>
  </property>
</configuration>

5.パスワードログインなしでSSHを設定します

SSHキーを生成します：

 sudo su -hadoop
ssh -keygen -t rsa -p ""

公開鍵をコピーします：

 cat〜/.ssh/id_rsa.pub >>〜/.ssh/authorized_keys

テスト接続：

 ssh localhost

6。NAMENODEのフォーマット

HDFS NAMENODE -FORMAT

7. Hadoopサービスを開始します

start-dfs.sh
Start-yarn.sh

8. Hadoopのインストールを確認します

クラスターのステータスを確認してください：

 HDFS DFSADMIN -REPORT

Namenode Webインターフェイスにアクセスしてください： http://localhost:9870

上記の手順を完了した後、DebianシステムのHadoop開発環境が完了します。実際の状況に応じて、パスとHadoopバージョンを調整してください。

以上がDebianにHadoop開発環境を構築する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。