Java開發者必會的大數據工具和框架有哪些

1、MongoDB－最受歡迎的，跨平台的，面向文件的資料庫。

MongoDB是一個基於分散式檔案儲存的資料庫，使用C 語言編寫。旨在為Web應用提供可擴展的高效能資料儲存解決方案。應用效能高低依賴於資料庫效能，MongoDB則是非關聯式資料庫中功能最豐富，最像關聯式資料庫的，隨著MongDB 3.4版本發布，其應用場景適用能力得到了進一步拓展。

MongoDB的核心優勢是靈活的文件模型、高可用複製集、可擴展分片集群。你可以試著從幾大方面來了解MongoDB，例如即時監控MongoDB工具、記憶體使用量和頁面錯誤、連線數、資料庫操作、複製集等。

2、Elasticsearch －為雲端建置的分散式RESTful搜尋引擎。

ElasticSearch是基於Lucene的搜尋伺服器。它提供了分散式多用戶能力的全文搜尋引擎，基於RESTful web介面。 Elasticsearch是用Java開發的，並作為Apache授權條款下的開放原始碼發布，是比較流行的企業級搜尋引擎。

ElasticSearch不僅是一個全文本搜尋引擎，還是一個分散式即時文件存儲，其中每個field都是被索引的資料且可被搜尋;也是一個帶有即時分析功能的分散式搜尋引擎，並且能夠擴展至數以百計的伺服器儲存及處理PB級的資料。 ElasticSearch在底層利用Lucene完成其索引功能，因此其許多基本概念源自於Lucene。

3、Cassandra——開源分散式資料庫管理系統，最初是由Facebook開發的，旨在處理許多商品伺服器上的大量數據，提供高可用性，沒有單點故障。

Apache Cassandra是一套開源分散式NoSQL資料庫系統。集Google BigTable的資料模型與Amazon Dynamo的完全分散式架構於一身。於2008開源，此後，由於Cassandra良好的可擴展性，被Digg、Twitter等Web 2.0網站所採納，成為了一種流行的分散式結構化資料儲存方案。

因Cassandra是用Java編寫的，所以理論上在具有JDK6以上版本的機器中都可以運行，官方測試的JDK還有OpenJDK 及Sun的JDK。 Cassandra的操作指令，類似我們平常操作的關聯式資料庫，對於熟悉MySQL的朋友來說，操作會很容易上手。

4、Redis －開源(BSD許可)記憶體資料結構存儲，用作資料庫，快取和訊息代理。

Redis是一個開源的使用ANSI C語言編寫的、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫，並提供多種語言的API。 Redis 有三個主要使其有別於其它許多競爭對手的特點：Redis是完全在記憶體中保存資料的資料庫，使用磁碟只是為了持久性目的; Redis相比許多鍵值資料儲存系統有相對豐富的資料類型; Redis可以將資料複製到任意數

5、Hazelcast －基於Java的開源記憶體資料網格。

Hazelcast 是一種記憶體資料網格 in-memory data grid，提供Java程式設計師關鍵任務交易和兆級記憶體應用。雖然Hazelcast沒有所謂的“Master”，但仍有一個Leader節點(the oldest member)，這個概念與ZooKeeper中的Leader類似，但是實作原理卻完全不同。同時，Hazelcast中的數據是分散式的，每個member持有部分數據和相應的backup數據，這點也與ZooKeeper不同。

Hazelcast的應用程式便利性深受開發者喜歡，但如果要投入使用，還需要慎重考慮。

6、EHCache－廣泛使用的開源Java分散式快取。主要針對通用快取、Java EE和輕量級容器。

EhCache 是純Java的進程內快取框架，具有快速、精簡等特點，是hibernate中預設的CacheProvider。主要功能有：快速簡單，具有多種快取策略;快取資料有兩級，記憶體和磁碟，因此無需擔心容量問題;快取資料會在虛擬機器重新啟動的過程中寫入磁碟;可以透過RMI、可插入API等方式進行分散式快取;具有快取和快取管理器的偵聽介面;支援多重快取管理器實例，以及一個實例的多個快取區域;提供Hibernate的快取實作。

7、Hadoop －用Java編寫的開源軟體框架，用於分散式存儲，並對非常大的資料使用者可以在不了解分散式底層細節的情況下，開發分散式程式。

充分利用叢集進行高速運算和儲存。 Hadoop實作了一個分散式檔案系統(Hadoop Distributed File System)，簡稱HDFS。 Hadoop的框架最核心的設計就是：HDFS和MapReduce。 HDFS為海量的資料提供了存儲，MapReduce則為海量的資料提供了計算。

8、Solr －開源企業搜尋平台，用Java編寫，來自Apache Lucene專案。

Solr是一個獨立的企業級搜尋應用程式伺服器，它對外提供類似Web-service的API介面。使用者可以透過http請求，向搜尋引擎伺服器提交一定格式的XML文件，產生索引;也可以透過Http Get操作提出查找請求，並得到XML格式的返回結果。

與ElasticSearch一樣，同樣是基於Lucene，但它對其進行了擴展，提供了比Lucene更為豐富的查詢語言，同時實現了可配置、可擴展並對查詢性能進行了優化。

9、Spark －Apache Software Foundation中最活躍的項目，是一個開源叢集運算架構。

Spark 是一種與Hadoop 相似的開源叢集運算環境，但兩者之間仍有一些不同之處，這些不同之處使Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了記憶體分佈資料集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。

Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程式框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密整合，其中的 Scala 可以像操作本地集合物件一樣輕鬆。

10、Memcached －通用分散式記憶體快取系統。

Memcached是一套分散式快取系統，當初是Danga Interactive為了LiveJournal所發展的，但被許多軟體(如MediaWiki)所使用。 Memcached作為高速運行的分散式快取伺服器，具有以下的特點：協定簡單，基於libevent的事件處理，內建記憶體儲存方式。

11、Apache Hive --在Hadoop之上提供類似SQL的層。

Hive是一個基於Hadoop的資料倉儲平台。透過hive，可以方便地進行ETL工作。 hive定義了一個類似SQL的查詢語言，能夠將使用者所寫的SQL轉換為對應的Mapreduce程式是基於Hadoop執行。目前，已經發布了Apache Hive 2.1.1 版本。

12、Apache Kafka --最初是由LinkedIn開發的高吞吐量，分散式訂閱訊息系統。

Apache Kafka是一個開源訊息系統項目，由Scala寫成。該專案的目標是為處理即時數據提供一個統一、高通量、低等待的平台。 Kafka會維護按類別區分的訊息，稱為主題(topic)。生產者(producer)向kafka的主題發布訊息，消費者(consumer)向主題註冊，並且接收發佈到這些主題的訊息。

13、Akka --用於在JVM上建構高並發，分散式和彈性訊息驅動應用程式的工具包。

Akka 是一個用 Scala 編寫的函式庫，用來簡化編寫容錯的、高可伸縮性的 Java 和 Scala 的 Actor 模型應用。它已經成功運用在電信業，系統幾乎不會宕機。

14、HBase --開放原始碼，非關係型，分散式資料庫，採用Google的BigTable建模，以Java編寫，並在HDFS上運作。

與FUJITSU Cliq等商用大數據產品不同，HBase是Google Bigtable的開源實現，類似Google Bigtable利用GFS作為其文件存儲系統，HBase利用Hadoop HDFS作為其文件存儲系統;Google運行MapReduce來處理Bigtable中的大量數據，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據;Google Bigtable利用Chubby作為協同服務，HBase利用Zookeeper作為對應。

15、Neo4j --在Java中實作的開源圖形資料庫。

Neo4j是一個高效能的NOSQL圖形資料庫，它將結構化資料儲存在網路上而不是表中。它是一個嵌入式的、基於磁碟的、具備完全事務特性的Java持久化引擎。

以上是Java開發者必會的大數據工具和框架有哪些的詳細內容。更多資訊請關注PHP中文網其他相關文章！