首頁 >web前端 >前端問答 >datanode是什麼意思

datanode是什麼意思

WBOY
WBOY原創
2022-03-08 16:58:204700瀏覽

DataNode是一個在HDFS實例中單獨機器上運行的軟體節點;通常Hadoop叢集包含一個NameNode和大量DataNode,DataNode通常以機架的形式組織,所有機架透過一個交換器將所有系統連接起來。

datanode是什麼意思

本文操作環境:Windows10系統、nodejs 12.19.0版、Dell G3電腦。

datanode是什麼意思

DataNode是一個在HDFS實例中單獨機器上運行的軟體節點。通常Hadoop叢集包含一個NameNode和大量DataNode。 DataNode通常以機架的形式組織,所有機架透過一個交換器將所有系統連接起來。

DataNode回應來自HDFS客戶機的讀寫請求同時它們也回應來自NameNode的建立,刪除和複製區塊的命令。 NameNode依賴來自每個DataNode的定期心跳(heartbeat)訊息。每個訊息都包含一個區塊報告,NameNode可以根據這個報告驗證區塊映射和其他檔案系統元資料。如果DataNode無法傳送心跳訊息,NameNode將採取修復措施。重新複製在該節點上遺失的區塊。

Datenode 提供真實檔案資料的儲存服務。

檔案區塊(block):最基本的儲存單位。對於檔案內容而言,一個檔案的長度大小size,那麼從檔案的0偏移開始,按照固定的大小,順序將檔案分割並編號,分割好的每一個稱為一個Block。 HDFS預設BIock大小是128MB。

不同於一般檔案系統的是,HDFS中,如果一個檔案小於一個資料區塊的大小,並不佔用整個資料儲存空間。

推薦學習:《nodejs影片教學

以上是datanode是什麼意思的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn