検索
ホームページよくある問題Apache Spark どういう意味ですか

Apache Spark どういう意味ですか

Aug 02, 2019 pm 01:18 PM
apachespark

Apache Spark どういう意味ですか

Apache Spark とはどういう意味ですか?

Apache Spark は、もともと Matei Zaharia によって開発された強力なオープンソース処理エンジンです。カリフォルニア大学バークレー校での博士論文の一部として開発されました。 Spark の最初のバージョンは 2012 年にリリースされました。

Apache Spark は、半構造化、構造化、ストリーミング、機械学習やデータ サイエンスなど、さまざまな複雑なデータの問題を解決できる、高速で使いやすいフレームワークです。また、250 以上の組織から 1,000 人以上の寄稿者が参加し、世界中の 570 以上の場所に 300,000 人以上の Spark Meetup コミュニティ メンバーが所属する、ビッグ データにおける最大のオープンソース コミュニティの 1 つとなっています。

Apache Spark とは何ですか?

Apache Spark は、オープンソースの強力な分散クエリおよび処理エンジンです。 MapReduce は、MapReduce の柔軟性とスケーラビリティを備えながら、速度が大幅に向上しています。データがメモリに保存される場合は Apache Hadoop より 100 倍、ディスクにアクセスする場合は最大 10 倍高速です。

Apache Spark を使用すると、ユーザーはデータを読み取り、変換、集約し、複雑な統計モデルを簡単にトレーニングして展開できます。 Java、Scala、Python、R、SQL はすべて Spark API にアクセスできます。

Apache Spark は、クラスターにデプロイするライブラリとしてパッケージ化するか、Jupyter、Spark-Notebook、Databricks ノートブック、Apache Zeppelin クイック分析などのノートブックを介して対話的に実行するアプリケーションの構築に使用できます。

Apache Spark は、Python の pandas や R 言語の data.frame または data.tables を使用したことのあるデータ アナリスト、データ サイエンティスト、または研究者にとって馴染みのあるライブラリを多数提供します。 Spark DataFrame は、pandas や data.frame、data.tables のユーザーにとっては馴染みのあるものですが、それでもいくつかの違いがあるため、あまり期待しないでください。 SQL の知識が豊富なユーザーは、この言語を使用してデータを形成することもできます。

さらに、Apache Spark は、いくつかの実装および調整されたアルゴリズム、統計モデルおよびフレームワークも提供します。機械学習用の MLlib と ML、グラフ処理用の GraphX と GraphFrames、および Spark ストリーミング (DStream および Structured) です。 Spark を使用すると、ユーザーは同じアプリケーション内でこれらのライブラリを自由に組み合わせることができます。

Apache Spark はローカルのラップトップで便利に実行でき、ローカル クラスターまたは YARN または Apache Mesos を介してクラウドにスタンドアロン モードで簡単にデプロイできます。 HDFS、Apache Cassandra、Apache HBase、S3 を含む (ただしこれらに限定されない) さまざまなデータ ソースからの読み取りと書き込みが可能です。

以上がApache Spark どういう意味ですかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

WebStorm Mac版

WebStorm Mac版

便利なJavaScript開発ツール

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター