ホームページ  >  記事  >  運用・保守  >  Hadoop の核となるのは分散ファイル システム hdfs です。

Hadoop の核となるのは分散ファイル システム hdfs です。

青灯夜游
青灯夜游オリジナル
2020-08-31 14:17:148195ブラウズ

Hadoop の中核は、分散ファイル システム hdfs と MapReduce です。 HDFS は大規模なデータのストレージを提供し、MapReduce は大規模なデータの計算を提供します。

Hadoop の核となるのは分散ファイル システム hdfs です。

Hadoop は、Apache Foundation によって開発された分散システム インフラストラクチャです。ユーザーは、分散の基礎となる詳細を理解していなくても、分散プログラムを開発できます。高速コンピューティングとストレージのためにクラスターの力を最大限に活用します。

Hadoop は分散ファイル システム (Hadoop 分散ファイル システム) を実装しており、その 1 つが HDFS です。 HDFS は耐障害性が高く、低コストのハードウェアに導入できるように設計されており、アプリケーション データにアクセスするための高いスループットを提供するため、大規模なデータ セットを持つユーザーに適しています。

HDFS は POSIX 要件を緩和し、ストリーミング アクセスの形式でファイル システム内のデータにアクセスできます。

Hadoop フレームワークの核となる設計は、HDFS と MapReduce です。 HDFS は大規模なデータのストレージを提供し、MapReduce は大規模なデータの計算を提供します。

Hadoop は多くの要素で構成されています。最下部には Hadoop 分散ファイル システム (HDFS) があり、Hadoop クラスター内のすべてのストレージ ノードにファイルを保存します。 HDFS の上位層は MapReduce エンジンで、JobTracker と TaskTracker で構成されます。 Hadoop 分散コンピューティング プラットフォームのコア分散ファイル システム HDFS と MapReduce 処理、さらにデータ ウェアハウス ツール Hive と分散データベース Hbase の導入を通じて、基本的に Hadoop 分散プラットフォームのすべての技術コアをカバーします。

関連知識の詳細については、PHP 中国語 Web サイト をご覧ください。

以上がHadoop の核となるのは分散ファイル システム hdfs です。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。