首頁 >常見問題 >hbase依賴什麼儲存底層數據

hbase依賴什麼儲存底層數據

青灯夜游
青灯夜游原創
2020-11-17 11:28:5414918瀏覽

hbase依賴「HDFS」儲存底層資料。 HBase利用Hadoop HDFS作為其檔案儲存系統,為HBase提供高可靠性的底層儲存支援;HDFS有著高容錯性的特點,並且設計用來部署在低廉的硬體上。

hbase依賴什麼儲存底層數據

HBase – Hadoop Database,是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統,利用HBase技術可在廉價PC Server上搭建起大規模結構化儲存叢集。

hbase依賴「HDFS」儲存底層資料。

HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作為其檔案儲存系統,HBase利用Hadoop HDFS作為其檔案儲存系統;Google運行MapReduce來處理Bigtable中的大量數據,HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據;Google Bigtable利用Chubby作為協同服務,HBase利用Zookeeper作為對應。

hbase依賴什麼儲存底層數據

上圖描述Hadoop EcoSystem中的各層系統。其中,HBase位於結構化儲存層,Hadoop HDFS為HBase提供了高可靠性的底層儲存支援,Hadoop MapReduce為HBase提供了高效能的運算能力,Zookeeper為HBase提供了穩定服務和failover機制。

HDFS

Hadoop分散式檔案系統(HDFS)是指被設計成適合運行在通用硬體(commodity hardware)上的分散式檔案系統(Distributed File System)。它和現有的分散式檔案系統有許多共同點。但同時,它和其他的分散式檔案系統的差異也是很明顯的。 HDFS是一個高度容錯性的系統,適合部署在廉價的機器上。 HDFS能提供高吞吐量的資料訪問,非常適合大規模資料集上的應用。 HDFS放寬了一部分POSIX約束,來實現串流讀取檔案系統資料的目的。 HDFS在最開始是作為Apache Nutch搜尋引擎專案的基礎架構而開發的。 HDFS是Apache Hadoop Core專案的一部分。

HDFS有著高容錯性(fault-tolerant)的特點,並且設計用來部署在低廉的(low-cost)硬體上。而且它提供高吞吐量(high throughput)來存取應用程式的數據,適合那些有著超大數據集(large data set)的應用程式。 HDFS放寬了(relax)POSIX的要求(requirements)這樣可以實現流的形式存取(streaming access)檔案系統中的資料。

HDFS採用了主從(Master/Slave)結構模型,一個HDFS叢集是由一個NameNode和若干個DataNode組成的。其中NameNode作為主伺服器,管理檔案系統的命名空間和用戶端對檔案的存取操作;叢集中的DataNode管理儲存的資料。

以上是hbase依賴什麼儲存底層數據的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn