搜尋
首頁Javajava教程Hadoop能不能搭建一個完整的雲端運算平台?

     Hadoop不完全代表雲端運算,所以,要用Hadoop搭建完整的雲端運算平台,答案是不夠。我們常說雲端運算,實際上還是透過電腦的大規模或說海量處理來為生活中各式各樣的人和各行各業服務——所以,核心在「服務」。關於服務,展開來就是常用的那3種(也是事實上的標準):

  回頭說Hadoop。在Google三大論文的直接刺激下,Hadoop社群興起,而在眾多的開源實作中,Hadoop(主專案)可以說是所有已知雲端運算方面開源專案的一個Top專案。

  雲端運算中有哪些構件?發展到目前的技術與規模,並沒有一個確切的定論,今天的說的話明天可能就不一樣了。但對Hadoop來說,實現了的部分,就是大部分企業在不斷發展中所遇到的大部分問題。直接上圖:

Hadoop能不能搭建一個完整的雲端運算平台?

  從整體生態系統的角度,從底層存儲,到中間的計算模型和框架,再到上層的邏輯處理和流、顯示,都有相應開源的實作。這就是你說的構件了。

  包括我們看到的Hadoop2.0中,引入的新的處理框架,Spark,Storm,YARN(取代MR),都是Hadoop生態系統的完善與實現。

  Hadoop實現的是在簡易硬體的基礎上進行盡量高可用性海量計算與處理的中上層模型。 Hadoop處理了儲存(也只是一部分),虛擬化是沒有涉及的,而底層硬體Hadoop也是不涉及的,不管是Hadoop還是其他的項目,只是在軟體的層面想透過縱向或橫向的拓展解決所有的問題是不現實的。 Hadoop在硬體這方面,只是在實作中預留或是接取硬體特性,也就是在虛擬化這方面Hadoop只是個「APP”,不是「始作俑者」(用詞不當了)。

  那麼,完整的雲端運算平台呢?

  依照企業級來說,是要看具體的企業方向和企業類型的,包括IBM和VMware都有提供不同的解決方案。大致上一定是由單點–>集群–>多層(準分佈式)–>硬體–>分佈式(地域分佈)來解決的。具體到Hadoop體系的技術,直接去對應上圖就好了。

Hadoop能不能搭建一個完整的雲端運算平台?

  從雲端運算這個概念出現到今天,資料可以說「浩如煙海」了,但很多資料只是互相複製粘貼,並沒有說到雲端運算的核心。我想提出的一個觀點是,完整的雲端運算平台,依賴的是業務,提供的是儲存與支援。

  沒有業務需求而是照搬網上的資料或自認為「活用」了某些技術,都可能只是「娛人娛己」。我們來看看網路負載平衡技術是如何發展的就更容易理解雲端運算:

  客戶端快取–>CDN快取–>Apache&Nginx靜態頁面快取–>php與Java動態記憶體–> ;Memcache&Other Nosql–>MySQL&Oracle–>HDFS&Other Big Table

  從技術的角度看,所有問題解決起來都是層次化的(大家肯定都有寫Demo吧),都是根據不同的需求吧),都是根據不同的需求引入不同的技術,在單層單點乃至集群都無法解決問題的時候,新的計算框架,雲端運算與網格運算乃至動畫需要的大規模渲染都在需要的時候順理成章的引入。總之,完整的雲端運算平台,對於不同的公司業務都是不同的,拿騰訊來說,平台的組件多如牛毛,「平台」只是提供最基礎的服務:儲存與支持,其他的都需要業務根據自身的特點在其上進行構建(相信大公司都是有自己的完整方案的,這裡我就不能再說了……),至於提高什麼樣級別的這種“服務”,就要看公司的業務規模,需要支撐的體系,乃至公司的決策策略了等等。

以上是Hadoop能不能搭建一個完整的雲端運算平台?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
Java错误:Hadoop错误,如何处理和避免Java错误:Hadoop错误,如何处理和避免Jun 24, 2023 pm 01:06 PM

Java错误:Hadoop错误,如何处理和避免当使用Hadoop处理大数据时,常常会遇到一些Java异常错误,这些错误可能会影响任务的执行,导致数据处理失败。本文将介绍一些常见的Hadoop错误,并提供处理和避免这些错误的方法。Java.lang.OutOfMemoryErrorOutOfMemoryError是Java虚拟机内存不足的错误。当Hadoop任

Vue框架下,如何快速搭建统计图表系统Vue框架下,如何快速搭建统计图表系统Aug 21, 2023 pm 05:48 PM

Vue框架下,如何快速搭建统计图表系统在现代网页应用中,统计图表是必不可少的组成部分。Vue.js作为一款流行的前端框架,提供了很多便捷的工具和组件,能够帮助我们快速搭建统计图表系统。本文将介绍如何利用Vue框架以及一些插件来搭建一个简单的统计图表系统。首先,我们需要准备一个Vue.js的开发环境,包括安装Vue脚手架以及一些相关的插件。在命令行中执行以下命

在Beego中使用Hadoop和HBase进行大数据存储和查询在Beego中使用Hadoop和HBase进行大数据存储和查询Jun 22, 2023 am 10:21 AM

随着大数据时代的到来,数据处理和存储变得越来越重要,如何高效地管理和分析大量的数据也成为企业面临的挑战。Hadoop和HBase作为Apache基金会的两个项目,为大数据存储和分析提供了一种解决方案。本文将介绍如何在Beego中使用Hadoop和HBase进行大数据存储和查询。一、Hadoop和HBase简介Hadoop是一个开源的分布式存储和计算系统,它可

CentOS 7下搭建web服务器的网络安全加固技巧CentOS 7下搭建web服务器的网络安全加固技巧Aug 05, 2023 pm 01:12 PM

CentOS7下搭建web服务器的网络安全加固技巧web服务器是现代互联网的重要组成部分,因此保护web服务器的安全性非常重要。通过加固网络安全,可以减少风险和避免潜在的攻击。本文将介绍在CentOS7上搭建web服务器时常用的网络安全加固技巧,并提供相应的代码示例。更新系统和软件首先,确保你的系统和软件是最新版本。可以使用以下命令更

如何使用PHP和Hadoop进行大数据处理如何使用PHP和Hadoop进行大数据处理Jun 19, 2023 pm 02:24 PM

随着数据量的不断增大,传统的数据处理方式已经无法处理大数据时代带来的挑战。Hadoop是开源的分布式计算框架,它通过分布式存储和处理大量的数据,解决了单节点服务器在大数据处理中带来的性能瓶颈问题。PHP是一种脚本语言,广泛应用于Web开发,而且具有快速开发、易于维护等优点。本文将介绍如何使用PHP和Hadoop进行大数据处理。什么是HadoopHadoop是

在PyCharm中快速安装PyTorch:简易指南在PyCharm中快速安装PyTorch:简易指南Feb 24, 2024 pm 09:54 PM

PyTorch安装指南:在PyCharm中快速搭建开发环境PyTorch是当前深度学习领域中备受欢迎的框架之一,具有易用性和灵活性的特点,深受开发者青睐。本文将为大家介绍如何在PyCharm中快速搭建PyTorch的开发环境,方便大家开始深度学习项目的开发。步骤一:安装PyTorch首先,我们需要安装PyTorch。PyTorch的安装通常需要考虑到系统环境

CentOS搭建web服务器的日志管理与监控技巧CentOS搭建web服务器的日志管理与监控技巧Aug 05, 2023 am 08:33 AM

CentOS搭建web服务器的日志管理与监控技巧Web服务器是现代互联网应用的重要组成部分,而服务器的日志管理与监控是确保服务器稳定运行和故障排查的关键。本文将介绍在CentOS操作系统上如何搭建web服务器,并提供一些日志管理与监控的技巧。一、搭建Web服务器安装ApacheApache是一个流行的开源Web服务器软件。在CentOS上安装Apache很简

探索Java在大数据领域的应用:Hadoop、Spark、Kafka等技术栈的了解探索Java在大数据领域的应用:Hadoop、Spark、Kafka等技术栈的了解Dec 26, 2023 pm 02:57 PM

Java大数据技术栈:了解Java在大数据领域的应用,如Hadoop、Spark、Kafka等随着数据量不断增加,大数据技术成为了当今互联网时代的热门话题。在大数据领域,我们常常听到Hadoop、Spark、Kafka等技术的名字。这些技术起到了至关重要的作用,而Java作为一门广泛应用的编程语言,也在大数据领域发挥着巨大的作用。本文将重点介绍Java在大

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
1 個月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)