CentOS 上安裝 Apache Hadoop!

導讀	Apache Hadoop 軟體庫是一個框架，它允許使用簡單的程式設計模型在電腦叢集上對大型資料集進行分散式處理。 Apache™ Hadoop® 是可靠、可擴展、分散式運算的開源軟體。

該專案包含以下模組：

• Hadoop Common：支援其他 Hadoop 模組的常用工具。
• Hadoop 分散式檔案系統 （HDFS™）：分散式檔案系統，可提供對應用程式資料的高吞吐量存取支援。
• Hadoop YARN：作業排程與叢集資源管理框架。
• Hadoop MapReduce：一個基於 YARN 的大型資料集平行處理系統。

本文將幫助你逐步在 CentOS 上安裝 hadoop 並設定單節點 hadoop 叢集。

安裝 Java

在安裝 hadoop 之前，請確保你的系統上安裝了 Java。使用此命令檢查已安裝 Java 的版本。

java -version
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

要安裝或更新 Java，請參考下面逐步的說明。

第一步是從 Oracle 官方網站下載最新版本的 java。

cd /opt/
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tar xzf jdk-7u79-linux-x64.tar.gz

需要設定使用更新版本的 Java 作為替代品。使用以下命令來執行此操作。

cd /opt/jdk1.7.0_79/
alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2
alternatives --config java
There are 3 programs which provide 'java'.
Selection Command
-----------------------------------------------
* 1 /opt/jdk1.7.0_60/bin/java
+ 2 /opt/jdk1.7.0_72/bin/java
3 /opt/jdk1.7.0_79/bin/java
Enter to keep the current selection[+], or type selection number: 3 [Press Enter]

現在你可能還需要使用 alternatives 指令來設定 javac 和 jar 指令路徑。

alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2
alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2
alternatives --set jar /opt/jdk1.7.0_79/bin/jar
alternatives --set javac /opt/jdk1.7.0_79/bin/javac

下一步是配置環境變數。使用以下命令正確設定這些變數。

設定 JAVA_HOME 變數：

export JAVA_HOME=/opt/jdk1.7.0_79

設定 JRE_HOME 變數：

export JRE_HOME=/opt/jdk1.7.0_79/jre

設定 PATH 變數：

export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin

安裝 Apache Hadoop

設定好 java 環境後。開始安裝 Apache Hadoop。

第一步是建立用於 hadoop 安裝的系統使用者帳戶。

useradd hadoop
passwd hadoop

現在你需要設定使用者 hadoop 的 ssh 金鑰。使用以下命令啟用無需密碼的 ssh 登入。

su - hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
exit

現在從官方網站 hadoop.apache.org 下載 hadoop 最新的可用版本。

cd ~
wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
tar xzf hadoop-2.6.0.tar.gz
mv hadoop-2.6.0 hadoop

下一步是設定 hadoop 使用的環境變數。

編輯 ~/.bashrc，並在檔案末尾新增以下這些值。

export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

在目前運行環境中套用變更。

source ~/.bashrc

編輯 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 並設定 JAVA_HOME 環境變數。

export JAVA_HOME=/opt/jdk1.7.0_79/

現在，先從配置基本的 hadoop 單節點叢集開始。

首先編輯 hadoop 設定檔並進行以下更改。

cd /home/hadoop/hadoop/etc/hadoop

讓我們編輯 core-site.xml。

fs.default.name
hdfs://localhost:9000

接著編輯 hdfs-site.xml：

dfs.replication
1
dfs.name.dir
file:///home/hadoop/hadoopdata/hdfs/namenode
dfs.data.dir
file:///home/hadoop/hadoopdata/hdfs/datanode

並編輯 mapred-site.xml：

mapreduce.framework.name
yarn

最後編輯 yarn-site.xml：

yarn.nodemanager.aux-services
mapreduce_shuffle

現在使用以下指令格式化 namenode：

hdfs namenode -format

要啟動所有 hadoop 服務，請使用下列命令：

cd /home/hadoop/hadoop/sbin/
start-dfs.sh
start-yarn.sh

要檢查所有服務是否正常啟動，請使用 jps 指令：

jps

你應該要看到這樣的輸出。

26049 SecondaryNameNode
25929 DataNode
26399 Jps
26129 JobTracker
26249 TaskTracker
25807 NameNode

現在，你可以在瀏覽器中存取 Hadoop 服務：http://your-ip-address:8088/ 。

hadoop

---

 

以上是CentOS 上安裝 Apache Hadoop!的詳細內容。更多資訊請關注PHP中文網其他相關文章！