Pasang Apache Hadoop pada CentOS!

Pengenalan

Pustaka perisian Apache Hadoop ialah rangka kerja yang membenarkan pemprosesan teragih set data besar pada gugusan komputer menggunakan model pengaturcaraan mudah. Apache™ Hadoop® ialah perisian sumber terbuka untuk pengkomputeran yang boleh dipercayai, berskala dan teragih.

Projek ini merangkumi modul berikut:

• Hadoop Common: Alat biasa yang menyokong modul Hadoop lain.
• Sistem Fail Teragih Hadoop (HDFS™): Sistem fail teragih yang menyediakan sokongan capaian capaian tinggi kepada data aplikasi.
• Hadoop BENANG: penjadualan kerja dan rangka kerja pengurusan sumber kluster.
• Hadoop MapReduce: Sistem pemprosesan selari berasaskan BENANG untuk set data yang besar.

Artikel ini akan membantu anda memasang hadoop pada CentOS langkah demi langkah dan mengkonfigurasi kluster hadoop nod tunggal.

Pasang Java

Sebelum memasang hadoop, sila pastikan Java dipasang pada sistem anda. Gunakan arahan ini untuk menyemak versi Java yang dipasang.

java -version
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

Untuk memasang atau mengemas kini Java, sila ikut arahan langkah demi langkah di bawah.

Langkah pertama ialah memuat turun versi java terkini dari laman web rasmi Oracle.

cd /opt/
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tar xzf jdk-7u79-linux-x64.tar.gz

Memerlukan persediaan untuk menggunakan versi Java yang lebih baharu sebagai alternatif. Gunakan arahan berikut untuk melakukan ini.

cd /opt/jdk1.7.0_79/
alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2
alternatives --config java
There are 3 programs which provide 'java'.
Selection Command
-----------------------------------------------
* 1 /opt/jdk1.7.0_60/bin/java
+ 2 /opt/jdk1.7.0_72/bin/java
3 /opt/jdk1.7.0_79/bin/java
Enter to keep the current selection[+], or type selection number: 3 [Press Enter]

Kini anda juga mungkin perlu menggunakan arahan alternatif untuk menetapkan laluan arahan javac dan jar.

alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2
alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2
alternatives --set jar /opt/jdk1.7.0_79/bin/jar
alternatives --set javac /opt/jdk1.7.0_79/bin/javac

Langkah seterusnya ialah mengkonfigurasi pembolehubah persekitaran. Gunakan arahan berikut untuk menetapkan pembolehubah ini dengan betul.

Tetapkan pembolehubah JAVA_HOME:

export JAVA_HOME=/opt/jdk1.7.0_79

Tetapkan pembolehubah JRE_HOME:

export JRE_HOME=/opt/jdk1.7.0_79/jre

Tetapkan pembolehubah PATH:

export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin

Pasang Apache Hadoop

Selepas menyediakan persekitaran java. Mula memasang Apache Hadoop.

Langkah pertama ialah membuat akaun pengguna sistem untuk pemasangan hadoop.

useradd hadoop
passwd hadoop

Kini anda perlu mengkonfigurasi kekunci ssh untuk hadoop pengguna. Gunakan arahan berikut untuk mendayakan log masuk ssh tanpa kata laluan.

su - hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
exit

Muat turun versi hadoop terkini yang tersedia sekarang dari tapak web rasmi hadoop.apache.org.

cd ~
wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
tar xzf hadoop-2.6.0.tar.gz
mv hadoop-2.6.0 hadoop

Langkah seterusnya ialah menetapkan pembolehubah persekitaran yang digunakan oleh hadoop.

Edit ~/.bashrc dan tambah nilai berikut ini pada penghujung fail.

export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

Gunakan perubahan dalam persekitaran berjalan semasa.

source ~/.bashrc

Edit $HADOOP_HOME/etc/hadoop/hadoop-env.sh dan tetapkan pembolehubah persekitaran JAVA_HOME.

export JAVA_HOME=/opt/jdk1.7.0_79/

Sekarang, mari mulakan dengan mengkonfigurasi kluster nod tunggal hadoop asas.

Sunting fail konfigurasi hadoop dahulu dan buat perubahan berikut.

cd /home/hadoop/hadoop/etc/hadoop

Jom edit core-site.xml.

fs.default.name
hdfs://localhost:9000

Kemudian edit hdfs-site.xml:

dfs.replication
1
dfs.name.dir
file:///home/hadoop/hadoopdata/hdfs/namenode
dfs.data.dir
file:///home/hadoop/hadoopdata/hdfs/datanode

dan edit mapred-site.xml:

mapreduce.framework.name
yarn

Sunting terakhir yarn-site.xml:

yarn.nodemanager.aux-services
mapreduce_shuffle

Sekarang formatkan nod nama menggunakan arahan berikut:

hdfs namenode -format

Untuk memulakan semua perkhidmatan hadoop, gunakan arahan berikut:

cd /home/hadoop/hadoop/sbin/
start-dfs.sh
start-yarn.sh

Untuk menyemak sama ada semua perkhidmatan bermula seperti biasa, gunakan arahan jps:

jps

Anda sepatutnya melihat output seperti ini.

26049 SecondaryNameNode
25929 DataNode
26399 Jps
26129 JobTracker
26249 TaskTracker
25807 NameNode

Kini, anda boleh mengakses perkhidmatan Hadoop dalam penyemak imbas anda: http://your-ip-address:8088/.

hadoop

---

Atas ialah kandungan terperinci Pasang Apache Hadoop pada CentOS!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!