Debian Hadoop 怎樣進行測試

本文指導您在Debian 系統上安裝並測試Apache Hadoop。以下步驟將詳細介紹配置過程和驗證方法。

第一步：安裝Java

確保系統已安裝Java 8 或更高版本。使用以下命令安裝OpenJDK 8：

 sudo apt update
sudo apt install openjdk-8-jdk

驗證安裝：

 java -version

第二步：下載和解壓Hadoop

從Apache Hadoop 官網下載最新版Hadoop，並解壓到指定目錄（例如/usr/local/hadoop ）：

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop
``` (請替換`hadoop-3.3.1` 為實際的版本號)


**第三步：配置環境變量**

編輯`~/.bashrc` 文件，添加以下環境變量：

```bash
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使更改生效：

 source ~/.bashrc

第四步：配置Hadoop 配置文件

修改Hadoop 目錄下的配置文件：

• core-site.xml :

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
  </property>
</configuration>

• hdfs-site.xml :

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

• mapred-site.xml :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• yarn-site.xml :

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

第五步：格式化HDFS

在NameNode 節點上執行以下命令格式化HDFS：

 hdfs namenode -format

第六步：啟動Hadoop 服務

在NameNode 節點上啟動NameNode 和DataNode：

 start-dfs.sh

在ResourceManager 節點上啟動YARN：

 start-yarn.sh

第七步：本地模式測試

切換到Hadoop 用戶：

 su - hadoop

創建輸入目錄和文件：

 mkdir ~/input
vi ~/input/data.txt

輸入測試數據（例如"Hello World"，"Hello Hadoop"），保存並退出。

運行WordCount 示例：

 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ~/input/data.txt ~/output
``` (請根據實際jar包文件名調整)

查看結果：

```bash
ls ~/output
cat ~/output/part-r-00000

正確輸出表明Hadoop 本地模式運行成功。 請注意，以上步驟假設您在單機環境下進行測試。 對於集群環境，需要進行相應的配置修改。 請務必參考官方Hadoop文檔以獲取更詳細和最新的配置信息。

以上是Debian Hadoop 怎樣進行測試的詳細內容。更多資訊請關注PHP中文網其他相關文章！