BigData大數據運維

      大資料維運

#一.HDFS分散式檔案系統運作

1.在 #HDFS 檔案系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的BigDataSkills.txt ##文件，上傳到1daoyun/file 目錄中，使用相關指令檢視檔案系統中1daoyun/file 目錄的文件列表資訊。

hadoop fs -mkdir -p /1daoyun/file

hadoop fs -put BigDataSkills.txt /1daoyun/file

#hadoop fs -ls /1daoyun/file

#2.在 HDFS 檔案系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的BigDataSkills.txt 文件，上傳到1daoyun/file 目錄中，並使用HDFS #檔案系統檢查工具檢查檔案是否受損。

hadoop fs -mkdir -p /1daoyun/file

hadoop fs -put BigDataSkills.txt/1daoyun/file

#hadoop fsck /1daoyun/file/BigDataSkills.txt

#3.在 # HDFS 檔案系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的 BigDataSkills.txt 文件，上傳到1daoyun/file 目錄中，上傳過程指定BigDataSkills.txt 檔案在HDFS 檔案系統中的複製因子為2#，並使用

###fsck ######工######具檢查儲存區塊的副本數。 ######

hadoop fs -mkdir -p /1daoyun/file

hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/file

hadoop fsck /1daoyun/file/BigDataSkills.txt

4.HDFS 檔案系統的根目錄下存在一個/apps 的檔案目錄，要求開啟該目錄的可建立快照功能，並為該目錄檔案建立快照，快照名稱為apps_1daoyun#，使#用相關指令查看該快照檔案的清單資訊。

hadoop dfsadmin -allowSnapshot /apps

hadoop fs -createSnapshot /apps apps_1daoyun

hadoop fs -ls /apps/.snapshot

5.當 Hadoop #叢集啟動的時候，會先進入到安全模式的狀態，該模式預設30 秒後退出。當系統處於安全模式時，只能對 HDFS 檔案系統進行讀取，無法進行寫入修改刪除等的操作。現假設需要對 Hadoop 叢集進行維護，需要使叢集進入安全模式的狀態，並檢查其狀態。

hdfs dfsadmin -safemode enter

#hdfs dfsadmin -safemode get

6.為了防止操作人員誤刪文件，HDFS 檔案系統提供了回收站的功能，但經過多的垃圾檔案會佔用大量的儲存空間。要求在先電大資料平台的WEB 介面將HDFS 檔案系統回收站中的檔案徹底刪除的時間間隔為7 天。 進階core-sitefs.trash.interval：10080

## ##

7.為了防止操作人員誤刪文件，#HDFS 檔案系統提供了回收站的功能，但過多的垃圾檔案會佔用大量的儲存空間。要求在Linux Shell 中使用“vi”命令修改為對應的設定檔以及參數訊息，關閉回收站功能。完成後，重啟對應的服#。 進階##core-sitefs.trash.interval：0

vi /etc/hadoop/2.4.3.0 -227/0/core-site.xml

 

      #       #. trash.interval

      #0

#    

sbin/stop-dfs.sh

sbin/start- dfs.sh8.Hadoop 叢集中的主機在某些情況下會出現宕機或系統損壞的問題，一 旦遇到這些問題，HDFS 檔案系統中的資料檔案難免會產生損壞或遺失，為了保證HDFS 檔案系統的可靠性，現需要在先電大資料平台的WEB 介面

將叢集的冗餘複製因子修改為

5。
General
Block replication

############5#### ##

9.Hadoop 叢集中的主機在某些情況下會出現宕機或係統損壞的問題，一旦遇到這些問題，HDFS 檔案系統中的資料檔案難免會產生損壞或遺失，為了保證##HDFS 檔案系統的可靠性，需要將叢集的冗餘複製因子修改為5，在Linux Shell 中使用「vi」指令修改對應的設定檔以及參數訊息，完成後，重啟對應的服務。

 或

#vi/etc/hadoop/2.4.3.0-227/0/hdfs- site.xml

 

      dfs.replication

      5

    

#/usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop {namenode/datenode}

/usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start {namenode/datenode}

10.

使用指令檢視hdfs 檔案系統中/tmp 目錄下的目錄個數，檔案數量和檔案總大小。

hadoop fs -count /tmp

#2.

MapREDUCE 案例題#

1.在叢集節點中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目錄下，存在一個案例JAR 套件#hadoop-mapreduce-examples.jar。運行JAR 包中的PI #程式來進行計算圓周率π的近似值，要求執行5 次Map 任務，每個##Map 任務的投擲次數為5。

cd /usr/hdp/2.4.3.0-227/hadoop-mapreduce/

hadoop jar hadoop- mapreduce-examples-2.7.1.2.4.3.0-227.jar pi 5 5

 

#2. 在叢集節點中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目錄下，存在一個案例JAR 套件hadoop-mapreduce-examples.jar。執行JAR 套件中的wordcount #程式來對/1daoyun/file/ BigDataSkills.txt 檔案進行單字計數，將運算結果輸出到/1daoyun/output 目錄中，使用相關指令查詢單字計數結果。

hadoop jar/usr/hdp/2.4.3.0-227/hadoop-mapreduce/hadoop-mapreduce-examples-2.7.1.2.4.3.0-227.jar wordcount /1daoyun/ file/BigDataSkills.txt /1daoyun/output#

3.在叢集節點中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目錄下，存在一個案例JAR 套件#hadoop-mapreduce-examples.jar。執行 JAR 包中的 sudoku 程式來計算#下表中數獨運算題的結果。 。

 

cat puzzle1.dta

##hadoop jarhadoop-mapreduce-examples- 2.7.1.2.4.3.0-227.jar sudoku /root/puzzle1.dta

4.在叢集節點中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目錄下，存在一個案例JAR 包hadoop-mapreduce-examples.jar。運行JAR 包中的grep 程式來統計文字件系統中/ 1daoyun/file/BigDataSkills.txt 檔案中「Hadoop」出現的次數，統計完成後，查詢統計結果資訊。

hadoop jarhadoop-mapreduce-examples-2.7.1.2.4.3.0-227.jar grep /1daoyun/file/BigDataSkills.txt /output hadoop

################################################################################################################################################################################################' #### ######

以上是BigData大數據運維的詳細內容。更多資訊請關注PHP中文網其他相關文章！