Hadoop 新特性、改进、优化和Bug分析系列1：YARN-378

作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-378/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新

作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-378/
本博客的文章集合:http://dongxicheng.org/recommend/

---

重大消息：我的Hadoop新书《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》已经开始在各大网站销售了，购书链接地址： 当当购书网址，京东购书网址，卓越购书网址。新书官方宣传主页： http://hadoop123.com/。

---

Hadoop jira链接：https://issues.apache.org/jira/browse/YARN-378
所属范围（新特性、改进、优化或Bug）：改进
修复版本：2.1.0-beta及以上版本
所属分支（Common、HDFS、YARN或MapReduce）：YARN
涉及模块：client, resourcemanager
英文标题：“ApplicationMaster retry times should be set by Client”

1. ?背景介绍

在Hadoop分支YARN中，当用户提交应用程序后（提交到ResourceManager上），ResourceManager首先要做的是为该应用程序申请资源以启动它的ApplicationMaster，而ApplicationMaster启动后，它（ApplicationMaster）负责应用程序内部任务的分解，监控、容错等。对于每个应用程序，由于只有一个ApplicationMaster，因此ApplicationMaster存在单点故障问题，一旦ApplicationMaster死掉，则整个应用程序可能会运行失败。当ResourceManager探测到ApplicationMaster运行失败（通过心跳超时机制）后，它会尝试在另外一个节点上重新启动该ApplicationMaster，通常而言，ApplicationMaster重启后，会恢复之前的运行状态（前提是ApplicationMaster上次死掉之前会记录一些日志在HDFS上），当然，这是ApplicationMaster自己的事情，ResourceManager无权干涉，ResourceManager要做的只是发现ApplicationMaster死亡后，重新为它申请资源在另外一个节点上启动。而本文介绍的这个特性则是如何指定每个应用程序ApplicationMaster的重试次数。

在2.1.0-beta版本之前，所有应用程序的ApplicationMaster重试次数是均是由ResourceManager决定的，管理员可通过配置参数yarn.resourcemanager.am.max-retries配置每个ApplicationMaster的重试次数，这个配置参数值适用于所有的应用程序，不可单独对单个应用程序定制化，而这个改进正是为了解决这个问题。

2. 解决思路

首先需要明确的是，这个改进的目的是，让用户可以为自己的应用程序定制ApplicationMaster的重试次数。

其次，这个重试次数将被两个组件用到，分别是ResourceManager和ApplicationMaster，其中ResourceManager用于决定，是否对失败的ApplicationMaster进行重试；ApplicationMaster用于决定，是否需要恢复上次运行时的状态（从第二次开始恢复），以从断点开始计算。

通常而言，有点经验的人，可能认为可以这样解决问题：将用户设置的值放到Configuration中，通过job.xml传递到ResourceManager和ApplicationMaster上，这样改动是最小的。但是很遗憾，客户端传递的job.xml只有ApplicationMaster会读取，而ResourceManager不会。

YARN 2.1.0-beta版本的解决方案如下：

（1） 客户端设置重试次数后，该值将被写入ProtocolBuffer对象ApplicationSubmissionContextProto中的新增字段maxAppAttempts中（在hadoop-yarn-project/hadoop-yarn/hadoop-yarn-api/src/main/proto/yarn_protos.proto中定义）；

（2） 客户端提交应用程序后，maxAppAttempts值会通过RPC函数传递给ResourceManager；

（3）ResourceManager判断maxAppAttempts是否为0，如果为0，则改为ResourceManager内部已经设置好全局值，由属性arn.resourcemanager.am.max-attempts指定，默认为1；

（4）ResourceManager为ApplicationMaster申请资源后，与对应的节点通信启动ApplicationMaster，启动之前，会将maxAppAttempts值通过环境变量“MAX_APP_ATTEMPTS”传递给它

（5） ApplicationMaster在main函数中读取环境变量MAX_APP_ATTEMPTS，然后开始执行。

这样，各个应用程序可根据实际需要单独向用户提供可配置AM尝试次数的参数，比如MapReduce的参数是mapreduce.am.max-attempts，用户设置了该参数后，参数值会经过以上5个步骤进行传递。

3. ?我们学到了什么

（1）善用环境变量传递信息，环境变量可由父进程传递给子进程；

（2）在YARN中，代码改动通常是链式的，也就是说，需要依次改动几个组件，比如该例子中，需要一次改动client、ResourceManager和ApplicationMaster的代码，改动代码之前，要规划好修改方案和估算好代码的改动幅度；

（3）当需要添加一种新的ApplicationMaster相关的可配置参数时，可仿照这个jira实现完成，比如，假设让ApplicationMaster支持多种容错机制（现在不支持），其中一种是ApplicationMaster死掉后，尽量尝试在原节点重启（通常，ApplicationMaster中运行的是服务时，需要这么做），而这样改动之后，需要用户指定应用程序采用的容错机制类别。

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-378/

作者：Dong，作者介绍：http://dongxicheng.org/about/

本博客的文章集合:http://dongxicheng.org/recommend/

---

Copyright © 2013
This feed is for personal, non-commercial use only.
The use of this feed on other websites breaches copyright. If this content is not in your news reader, it makes the page you are viewing an infringement of the copyright. (Digital Fingerprint:
)