hadoop叢集伺服器的安裝設定教學（圖文）

這篇文章帶給大家的內容是關於hadoop叢集伺服器的安裝配置教學（圖文），有一定的參考價值，有需要的朋友可以參考一下，希望對你有幫助。

虛擬機器以及Linux系統安裝在先前的兩篇分享中已經詳細的介紹了方法，並且每一步的都配圖了。如果有朋友還是看不懂，那我也愛莫能助了。本篇主要就hadoop伺服器作業系統配置進行詳細說明，hadoop安裝會在下一篇文章中詳細的介紹。
hadoop安裝包用的是大快DKHadoop發行版，個人覺得DKHadoop的安裝過程是比較簡單，關於dkhadoop的安裝在下一次的分享中再詳細介紹吧。以下進入本篇的主題－伺服器作業系統設定教學

#一、安裝套件準備
1、虛擬機器分散式安裝（三台以上虛擬機器）
若是個人電腦Windows系統或Linux系統，虛擬機器上虛擬的三台伺服器，則將安裝套件拷貝到伺服器上，進行安裝作業即可。
2、實體叢集（三台以上實體伺服器）
1、    外網下載模式
2、    本地檔案模式
將安裝套件檔案直接拷貝到實體伺服器root目錄下，進行安裝操作即可。
3、上​​傳模式
當伺服器在機房，且無顯示和輸入設備的情況下，套用該模式。
現在將文件，安裝在本機電腦上（預設為筆記型電腦，在機房現場），並將電腦與伺服器連接，將安裝套件install、DKHInstall上傳到伺服器root目錄下。

二、伺服器作業系統設定教學
準備工作完成之後，就要進行伺服器設定操作，首先必須三台伺服器之間要互相ping通。所謂ping通，就是兩台設備之間網路是通的。從一端發送一個資料包，另一端就能夠收到，就代表兩台設備是能夠ping通了。
1、修改權限
目的：讓install、DKHInstall兩個安裝包有可執行的權限。權限不足無法執行一些操作。 install裡面是腳本和所有元件，DKHInstall裡面是安裝介面。
步驟：在準備工作中拷貝安裝套件 install、DKHInstall到主節點目錄後，修改檔案權限。首先進入root目錄，安裝目錄 install、DKHInstall的權限改為：檔案擁有者可讀可寫可執行，與檔案擁有者屬於一個使用者群組的其他使用者可讀可執行，其他使用者群組可讀可執行。
指令：
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform

2、 建置Hadoop叢集設定SSH免登入
目的：Hadoop執行執行過程中需要管理遠端Hadoop守護進程，在Hadoop啟動以後，NameNode是透過SSH（Secure Shell）來啟動和停止各個DataNode上的各種守護進程的。這就必須在節點之間執行指令的時候是不需要輸入密碼的形式，所以我們需要配置SSH運用無密碼公鑰認證的形式，這樣NameNode使用SSH無密碼登入並啟動DataName進程，同樣原理，DataNode上也能使用SSH無密碼登入NameNode。
步驟：
（1）修改本機hosts文件，寫入對應關係
為了區分區域網路內的每台主機，都會給主機配一個主機名，每台主機之間又是透過IP進行通信，但IP位址不方便記憶，所以配置主機名稱和IP映射能夠實現主機之間的快速方便的存取。
指令：
vi /etc/hosts
透過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成後按一下Esc鍵然後按一下按Shift : 鍵，輸入wq，然後再回車就可以保存。輸入q！後回車則是放棄儲存並退出.
進入編輯模式後，依照規則寫入主機與ip的對應關係（主機名稱dk41是自己命名的，如下圖）範例：

   192.168.1.41    dk41

192.168 .1.42    dk42
192.168.1.43    dk43

#編輯完後，儲存退出。把對應關係拷到其他兩台或多台機器上。
指令：
scp  -r  /etc/hosts  192.168.1.42:/etc
scp  -r  /etc/hosts  192.168.1.43:/etc
#（2）執行叢集之間免機密前的準備工作 
執行sshpass.sh的腳本的時候會去讀sshhosts和sshslaves這兩個文件，替換
修改文件sshhosts，輸入全部機器的主機名，每行一個主機名（如下圖）
指令：
vi /root/DKHPlantform/autossh/sshhosts
透過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成後按一下Esc鍵然後按一下按Shift ：鍵，輸入wq ，後回車就可以存檔。輸入q！後回車則是放棄保存並退出.

修改檔案sshslaves，寫入主機名稱以外的所有機器名稱（如下圖）
指令：
vi /root/DKHPlantform /autossh/sshslaves
透過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成後按一下Esc鍵然後按一下按Shift ：鍵，輸入wq，後回車就可以儲存。輸入q！後回車則是放棄儲存並退出.

#（3）執行叢集免密工作
指令：
cd /root /DKHPlantform/autossh
./autossh 主節點主機名稱叢集密碼
範例： ./autossh dk41 123456
（4）關閉防火牆
防止存取伺服器時某些服務被攔截,需要關閉防火牆。
指令：
cd /root/DKHPlantform/autossh
./offIptables.sh

3、 安裝雙機熱備份的MySQL
目的：存放Hive的元資料
步驟：
（1）從主節點分發mySQL安裝目錄到第二節點
指令：
scp -r /root/DKHPlantform /mysqlInst/ 192.168.1.42:/root/
（2）主節點執行：
指令：                                                                         st/
./mysql.sh 1
從節點執行:
指令：
cd /root/mysqlInst/
./mysql.sh 2

（3）執行成功之後執行熱備份（兩台機器上都要執行，兩個ip互換,41上寫42,42上寫41,密碼是MySQL的密碼為：123456。平台內已經設定好，請勿修改）：

指令：
source /etc/profile
./sync.sh 192.168.1.xxx(另一台mysql位址)
4、建立資料庫
目的：MySQL是一種關聯資料庫管理系統，關聯資料庫將資料保存在不同的表格中，增加了速度並提高了靈活性。
步驟：
（1）匯入MySQL資料表，只在主節點執行：
指令：
mysql -uroot -p123456 如：mysql -uroot -p123456 /DKHPlantform/dkh.sql
（2）執行完後查看一下兩台mysql的資料表是否存在,從主節點中查看執行：
指令：
mySQL  -uroot  -p123456
show databases;
use dkh;
show tables;

#5、啟動安裝

目的：伺服器設定作業完成之後，啟動DKH。
步驟：執行以下命令。
指令：
cd /root/DKHPlantform/dkh-tomcat*/bin/
./startup.sh
6、本機時間伺服器建置步驟
沒連網或裝系統時時間未同步，需要搭建本機時間伺服器。
（1）搭建內網的ntp伺服器
修改/etc/ntp.conf
指令：
Vim /etc/ntp.conf
透過按下鍵盤上的insert或是I鍵進入編輯模式，編輯完成後按Esc鍵然後按一下按Shift ：鍵，輸入wq後回車就可以儲存。輸入q！後回車則是放棄保存並退出.
修改下列三行:

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org

server 2.centos.pool.ntp.org

在文件最後加上下列兩行:

server  127.127.1.0  
fudge   127.127.1.0 stratum 10
2）啟動ntp服務
service ntpd start
（3）開機自動啟動
chkconfig ntpd on
（4）客戶端同步時間
命令：
Vim /etc/ntp. conf
透過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成後按Esc鍵然後按一下按Shift ：鍵，輸入wq，後回車就可以儲存。輸入q！後回車則是放棄儲存並退出.
在檔案最後加上一行：

/15 * root ntpdate 192.168.27.35;hwclock -w

以上是hadoop叢集伺服器的安裝設定教學（圖文）的詳細內容。更多資訊請關注PHP中文網其他相關文章！