首頁  >  文章  >  運維  >  hadoop的核心是分散式檔案系統hdfs和什麼?

hadoop的核心是分散式檔案系統hdfs和什麼?

青灯夜游
青灯夜游原創
2020-08-31 14:17:148129瀏覽

hadoop的核心是分散式檔案系統hdfs和MapReduce。 HDFS為海量的數據提供了存儲,而MapReduce則為海量的數據提供了計算。

hadoop的核心是分散式檔案系統hdfs和什麼?

Hadoop是由Apache基金會所開發的分散式系統基礎架構。使用者可以在不了解分散式底層細節的情況下,開發分散式程式。充分利用叢集的威力進行高速運算和儲存。

Hadoop實作了一個分散式檔案系統(Hadoop Distributed File System),其中一個元件是HDFS。 HDFS具有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來存取應用程式的數據,適合那些有著超大數據集(large data set)的應用程式。

HDFS放寬了(relax)POSIX的要求,可以以串流的形式存取(streaming access)檔案系統中的資料。

Hadoop的框架最核心的設計就是:HDFS和MapReduce。 HDFS為海量的數據提供了存儲,而MapReduce則為海量的數據提供了計算。

Hadoop 由許多元素構成。其最底部是 Hadoop Distributed File System(HDFS),它儲存 Hadoop 叢集中所有儲存節點上的檔案。 HDFS的上一層是MapReduce 引擎,由 JobTrackers 和 TaskTrackers 組成。透過Hadoop分散式運算平台最核心的分散式檔案系統HDFS、MapReduce處理過程,以及資料倉儲工具Hive和分散式資料庫Hbase的介紹,基本上涵蓋了Hadoop分散式平台的所有技術核心。

更多相關知識,請造訪:PHP中文網

以上是hadoop的核心是分散式檔案系統hdfs和什麼?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn