hadoop的核心是分散式檔案系統hdfs和MapReduce。 HDFS為海量的數據提供了存儲,而MapReduce則為海量的數據提供了計算。
Hadoop是由Apache基金會所開發的分散式系統基礎架構。使用者可以在不了解分散式底層細節的情況下,開發分散式程式。充分利用叢集的威力進行高速運算和儲存。
Hadoop實作了一個分散式檔案系統(Hadoop Distributed File System),其中一個元件是HDFS。 HDFS具有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來存取應用程式的數據,適合那些有著超大數據集(large data set)的應用程式。
HDFS放寬了(relax)POSIX的要求,可以以串流的形式存取(streaming access)檔案系統中的資料。
Hadoop的框架最核心的設計就是:HDFS和MapReduce。 HDFS為海量的數據提供了存儲,而MapReduce則為海量的數據提供了計算。
Hadoop 由許多元素構成。其最底部是 Hadoop Distributed File System(HDFS),它儲存 Hadoop 叢集中所有儲存節點上的檔案。 HDFS的上一層是MapReduce 引擎,由 JobTrackers 和 TaskTrackers 組成。透過Hadoop分散式運算平台最核心的分散式檔案系統HDFS、MapReduce處理過程,以及資料倉儲工具Hive和分散式資料庫Hbase的介紹,基本上涵蓋了Hadoop分散式平台的所有技術核心。
更多相關知識,請造訪:PHP中文網!
以上是hadoop的核心是分散式檔案系統hdfs和什麼?的詳細內容。更多資訊請關注PHP中文網其他相關文章!