Hadoop 2.0基本架构和发展趋势

作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-yarn-now-and-future/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我

作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-yarn-now-and-future/
本博客的文章集合:http://dongxicheng.org/recommend/

---

重大消息：我的Hadoop新书《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》已经开始在各大网站销售了，购书链接地址： 当当购书网址，京东购书网址，卓越购书网址。新书官方宣传主页： http://hadoop123.com/。

---

这是昨天下午我在清华 ChinaHadoop 夏季沙龙上关于“Hadoop 2.0基本架构和发展趋势”演讲的PPT，大家感受一下。

在这个PPT中，我尝试解答以下几个关于Hadoop的问题：

1. 什么是Hadoop 2.0？

2. 什么是YARN？

3. YARN的现状？

4. YARN发展趋势？

5. MapReduce与YARN的关系？

【PPT阅读和下载链接】：

微盘下载链接：Hadoop 2.0基本架构和发展趋势

百度网盘下载链接：Hadoop 2.0基本架构和发展趋势

YARN直接衍生于MapReduce但完全不同于MapReduce，MapReduce是一个低效的批处理计算框架，一般用来做一些离线的计算，不适合迭代计算、交互式计算、实时计算等场景，随着这些新的场景的产生和迫切要求，势必出现一个统一的平台管理这些计算框架，这就是YARN，用户可在YARN之上，跑各种计算任务，包括MapReduce计算、迭代计算（比如pagerank和一些数据挖掘算法）、交互式计算（比如SQL查询）、实时计算（比如storm等），这样看来，MapReduce这种批处理框架将越来越少的被使用到，而由其他新型更高效的计算框架取代，前几年之所以一直使用MR，是因为没有更高效成熟的计算框架出现，大家没有别的选择不得不使用它，而YARN的出现打破了这种局面，随着YARN的成熟（目前是alpha版，这个月可能发布beta版，9月份之前可能会发布稳定版），越来越多的公司，为了提高大数据处理效率，将采用新的计算框架，这时候，必须使用YARN，因为很多计算框架只能运行在YARN上，不能单独部署使用。当前比较明智的做法是，好好使用和学习MapReduce（YARN的很多实现源码级重用了MapReduce实现），同时关注YARN的发展动态和实验性使用它。没办法，互联网就是这样，技术更新速度超快，当你还在学习MapReduce的时候，新的计算框架出现了一箩筐，当Hadoop用了8年左右时间推出 1.0 稳定版后，2.0稳定版只用了2年的时间就要发布了。

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-yarn-now-and-future/

作者：Dong，作者介绍：http://dongxicheng.org/about/

本博客的文章集合:http://dongxicheng.org/recommend/

---

Copyright © 2013
This feed is for personal, non-commercial use only.
The use of this feed on other websites breaches copyright. If this content is not in your news reader, it makes the page you are viewing an infringement of the copyright. (Digital Fingerprint:
)