重新认识Mesos的设计架构

作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/apache-mesos/study-mesos-architecture-in-deep/ Mesos中包含四类主要的服务（实际上是一个socket server），它们分别是

作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址:http://dongxicheng.org/apache-mesos/study-mesos-architecture-in-deep/

Mesos中包含四类主要的服务（实际上是一个socket server），它们分别是Mesos Master，Mesos Slave，SchedulerProcess和ExecutorProcess，它们之间通过Protocal Buffer消息进行通信，每种服务内部注册了若干种Protocal Buffer消息处理器，一旦收到某种消息，则会调用相应的消息处理器进行处理。除了以上四种服务之外，Mesos还对外提供了三种可编程组件，分别是Alloctor、Framework Scheduler和Framework Executor，编写这几个组件必须按照要求实现了几个接口，而这些接口将分别被下图中相邻的服务调用。

大部分人看到以上Mesos架构后，均会认为Framework必须是一个通用的框架，比如MapReduce、Storm、Spark等，而Mesos Master负责将资源分配给各个框架，而各个框架的Scheduler进一步将资源分配给其内部的各个应用程序。这种观念是错误的，是对Mesos架构的一种错误解读。

事实上，Framework不仅可以是通用的框架，也可以是像Hadoop的Job或者YARN的Application那样的简单计算任务，也就是说，Framework并需要一定是一个“Framework”，或者一个长时间运行的服务（比如JobTracker等），也可以是一个短生命周期的Job或者Application。如果让Framework对应一个Hadoop Job，则可以这样设计Framework Scheduler和Framework Executor：

（1）Framework Scheduler功能

Framework Scheduler负责按照作业的输入数据量，将之分解成若干任务，并为这些任务申请资源、监控这些任务的运行状态，一旦发现某个任务运行失败则重新为之申请资源。

（2）Framework Executor功能

为一个节点上的Map Task或者Reduce Task准备运行环境，包括准备各种jar包、二进制文件，设置必要的环境变量，进行必要的资源隔离，启动Jetty Shuffle以为Reduce Task提供远程数据拷贝服务等，接收来自Framework Scheduler的命令（启动任务、杀死任务等），并执行。

通过上面的介绍可以知道，Framework Scheduler只负责运行一个Hadoop Job，而如果你对YARN比较熟悉，便会发现者正是YARN中的MapReduce ApplicationMaster做的事情，没错，Mesos与YARN的设计架构如此的相近，以至于我们很容易通过修改YARN 的任何一个ApplicationMaster，让它作为一个Framework Scheduler运行在Mesos中。

最近Mesos提供了一个mesos-submit工具（https://github.com/apache/mesos/blob/trunk/docs/Using-the-mesos-submit-tool.md，注意，该工具尚不完善），该工具可以让用户的Framework Scheduler运行在任何一个Mesos Slave上，以防止客户端运行过多的Framework Scheduler，这样，Mesos的整个架构和工作流程已经变得与YARN相差无几了。

为了让大家更容易理解Mesos和YARN在架构上的相似性，下面给出了Mesos和YARN的组件对应表：

Mesos中的组件	YARN中的组件	功能
Mesos Master	Resource Manager	整个集群的资源管理和调度
Mesos Slave	Node Manager	单个节点的资源管理（资源隔离、汇报等）、任务启动等
Framework Executor
Framework Scheduler	ApplicationMaster	单个应用程序的管理和资源二次调度，基本操作均包括注册、资源申请/获取、资源分配（给内部的任务）等。

既然Mesos和YARN如此的相近，那么我们到底应该使用哪一个呢？或者说，哪一个系统更有前景？

就目前看来，YARN在以下几个方面存在明显优势：（1）人力投入大。目前YARN有专门的公司（hortonwork）维护和开发 （2）知名度高。YARN之前从Hadoop 1.0中演化而来，继承了Hadoop的知名度，且有大量公司和开发人员共享patch。然而，Mesos最大优点的设计简单、容易上手使用，它不像YARN那样，一个资源的分配过程要涉及到若干个状态机，且每种状态机十几种状态，十几种事件。但稳定性看，两个系统都处于研发和测试阶段，离稳定可用还有一段距离。

 

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/apache-mesos/study-mesos-architecture-in-deep/

作者：Dong，作者介绍：http://dongxicheng.org/about/

---

Copyright © 2013
This feed is for personal, non-commercial use only.
The use of this feed on other websites breaches copyright. If this content is not in your news reader, it makes the page you are viewing an infringement of the copyright. (Digital Fingerprint:
)