Apache Spark とはどういう意味ですか?

#Apache Spark とは何を意味しますか?

Apache Spark は、メモリ コンピューティングに基づくオープン ソースのクラスター コンピューティング システムであり、データ分析を高速化することを目的としています。 Spark は非常に小さく精巧で、カリフォルニア大学バークレー校の AMP 研究所の Matei が率いる小規模チームによって開発されました。使用されている言語は Scala で、プロジェクトのコア部分のコードには 63 個の Scala ファイルしかなく、非常に短く簡潔です。

Apache Spark の 5 つの主な利点:

1. データがクラスター ホストの分散メモリにロードされるため、パフォーマンスが向上します。データは迅速に反復され、その後の頻繁なアクセスのニーズに備えてキャッシュされます。 Spark に興味がある多くの友人は、この文を聞いたことがあるかもしれません。Spark は、すべてのデータがメモリにロードされる場合は Hadoop より 100 倍高速になり、メモリがすべてのデータを保存するのに十分でない場合は Hadoop より 10 倍高速になります。

2. Java、Scala、Python、SQL (対話型クエリ用) で確立された標準 API を通じて、あらゆる分野での使用に便利です。また、多数の機械学習ライブラリも含まれています。箱から出してすぐに使用できます。

3. 既存の Hadoop v1 (SIMR) および 2.x (YARN) エコシステムと互換性があるため、組織はシームレスに移行できます。

4. ダウンロードとインストールは簡単です。便利なシェル (REPL: Read-Eval-Print-Loop) を使用すると、API を対話的に学習できます。

5. 高レベルのアーキテクチャを利用して生産性を向上させ、コンピューティングに集中できるようにします。

同時に、Apache Spark は Scala によって実装されており、コードは非常に簡潔です。

以上がApache Spark とはどういう意味ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。