作者: Dong | 新浪微博: 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce/hadoop-rumen-introduction/ 什么是Hadoop Rumen? Hadoop Rumen是为Hadoop MapReduce设计的日志解析和分析工具
作者:Dong | 新浪微博:西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址:http://dongxicheng.org/mapreduce/hadoop-rumen-introduction/
什么是Hadoop Rumen?
Hadoop Rumen是为Hadoop MapReduce设计的日志解析和分析工具,它能够将JobHistory 日志解析成有意义的数据并格式化存储。Rumen可以单独使用,但通常作为其他组件,比如GridMix (v3) 和 Mumak的基础库。
Hadoop Rumen设计动机
对于任何一个工作在Hadoop之上的外部工具,分析JobHistory日志都是必须的工作之一。基于这点考虑,Hadoop应内嵌一个JobHistory日志分析工具。
统计分析MapReduce作业的各种属性,比如任务运行时间、任务失败率等,通常是基准测试或者模拟器必备的功能,Hadoop Rumen可以为任务生成Cumulative Distribution Functions (CDF),这可以用于推断不完整的、失败的或者丢失的任务。
Hadoop Rumen基本构成
Hadoop Rumen已经内置在Apache Hadoop 1.0之上(包括0.21.x,0.22.x,CDH3)各个版本中,位于org.apache.hadoop.tools.rumen包中,通常被Hadoop打包成独立的jar包hadoop-tools-[VERSION].jar。Hadoop Rumen由两部分组成:
(1) Trace Builder
将JobHistory日志解析成易读的格式,当前仅支持json格式。Trace Builder的输出被称为job trace(作业运行踪迹),我们通过job trace很容易模拟(还原)作业的整个运行过程。
(2) ?Folder
将job trace按时间进行压缩或者扩张。这个还是为了方便其他组件,比如GridMix (v3) 和 Mumak,使用。Folder可以将作业运行过程进行等比例缩放,以便在更短的时间内模拟作业运行过程。
试用Hadoop Rumen
你可以通过两种方式运行Rumen,一种是使用集成化(综合所有功能)的HadoopLogsAnalyzer类,在很多Hadoop版本中,这个类已经过期,不推荐使用,另一种是使用TraceBuilder和Folder类。它们的运行方式基本类似,下面以HadoopLogsAnalyzer类为例进行说明:
bin/hadoop org.apache.hadoop.tools.rumen.HadoopLogsAnalyzer -v1 -write-job-trace file:///tmp/job-trace.json -write-topology file:///tmp/topology.json file:///software/hadoop/logs/history/done/
其中,“-v1”表示采用version 1的JobHsitory格式,如果你的Hadoop版本是0.20.x系列,则需要加这个参数,“-write-job-trace”是输出的job trace存放位置,“-write-topology”是拓扑结构存放位置,Rumen能够通过分析JobHistory中所有文件得到Hadoop集群的拓扑结构。最后一项紧跟你的JobHistory 中done目录存放位置,一般在${HDOOP_LOG}/history/done中,如果在本地磁盘,则需在目录前加前缀file://,如果在HDFS上需在目录前加前缀“hdfs://”。
下面是截取的job-trace.json和topology.json文件内容:
【job-trace.json】
“priority” : “NORMAL”, “jobID” : “job_201301061549_0003″, “mapTasks” : [ { "attempts" : [ { "location" : null, "hostName" : "HADOOP001", "startTime" : 1357460454343, "finishTime" : 1357460665299, "result" : "KILLED", "shuffleFinished" : -1, "sortFinished" : -1, "attemptID" : "attempt_201301061549_0003_m_000000_0", "hdfsBytesRead" : -1, "hdfsBytesWritten" : -1, "fileBytesRead" : -1, "fileBytesWritten" : -1, "mapInputRecords" : -1, "mapOutputBytes" : -1, "mapOutputRecords" : -1, "combineInputRecords" : -1, "reduceInputGroups" : -1, "reduceInputRecords" : -1, "reduceShuffleBytes" : -1, "reduceOutputRecords" : -1, "spilledRecords" : -1, "mapInputBytes" : -1 } ], “preferredLocations” : [ ], “startTime” : 1357460454686, “finishTime” : -1, “inputBytes” : -1, “inputRecords” : -1, “outputBytes” : -1, “outputRecords” : -1, “taskID” : “task_201301061549_0003_m_000000″, “numberMaps” : -1, “numberReduces” : -1, “taskStatus” : null, “taskType” : “MAP” }, { ….
【topology.json】
{ “name” : “<root>”, “children” : [ { "name" : "default-rack", "children" : [ { "name" : " HADOOP001", "children" : null }, { "name" : " HADOOP002", "children" : null }, { "name" : HADOOP003", "children" : null }, { "name" : " HADOOP004", "children" : null }, { "name" : " HADOOP005", "children" : null }, { "name" : " HADOOP006", "children" : null } ] } ] }</root>
原创文章,转载请注明: 转载自董的博客
本文链接地址: http://dongxicheng.org/mapreduce/hadoop-rumen-introduction/
作者:Dong,作者介绍:http://dongxicheng.org/about/