hadoop 配置机架感知-mysql教程-PHP中文网

首页

数据库

mysql教程

hadoop 配置机架感知

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 07, 2016 pm 04:31 PM

hadoop感知配置

周海汉?2013.7.24 http://abloz.com 假如设备链接层次分3层，第一层交换机d1下面连多个交换机rk1,rk2,rk3,rk4,. 每个交换机对应一个机架。 d1(rk1(hs11,hs12,),rk2(hs21,hs22,), rk3(hs31,hs32,),rk4(hs41,hs42,),) 可以用程序或脚本完成由host到设备的映射

周海汉?2013.7.24

http://abloz.com

假如设备链接层次分3层，第一层交换机d1下面连多个交换机rk1,rk2,rk3,rk4,…. 每个交换机对应一个机架。

d1(rk1(hs11,hs12,…),rk2(hs21,hs22,…), rk3(hs31,hs32,…),rk4(hs41,hs42,…),…)

可以用程序或脚本完成由host到设备的映射。比如，用python，生成一个topology.py：

然后在core-site.xml中配置

topology.script.file.name
/home/hadoop/hadoop-1.1.2/conf/topology.py
The script name that should be invoked to resolve DNS names to
NetworkTopology names. Example: the script would take host.foo.bar as an
argument, and return /rack1 as the output.

python机架脚本：

[hadoop@hs11 conf]$ cat topology.py
#!/usr/bin/env python

”’
This script used by hadoop to determine network/rack topology. It
should be specified in hadoop-site.xml via topology.script.file.name
Property.
topology.script.file.name
/home/hadoop/hadoop-1.1.2/conf/topology.py

To generate dict:
for i in range(xx):
#print “”hs%d”:”/rk%d/hs%d”,”%(i,(i-1)/10,i)

print “”hs%d”:”/rk%d”,”%(i,(i-1)/10)

Andy 2013.7.23
”’

import sys
from string import join

DEFAULT_RACK = ‘/rk0′;

RACK_MAP = {
“hs11″:”/rk1″,
“hs12″:”/rk1″,
“hs13″:”/rk1″,
“hs14″:”/rk1″,
“hs15″:”/rk1″,
“hs16″:”/rk1″,
“hs17″:”/rk1″,
“hs18″:”/rk1″,
“hs19″:”/rk1″,
“hs20″:”/rk1″,
“hs21″:”/rk2″,
“hs22″:”/rk2″,
“hs23″:”/rk2″,
“hs24″:”/rk2″,
“hs25″:”/rk2″,
“hs26″:”/rk2″,
“hs27″:”/rk2″,
“hs28″:”/rk2″,
“hs29″:”/rk2″,
“hs30″:”/rk2″,
“hs31″:”/rk3″,
“hs32″:”/rk3″,
“hs33″:”/rk3″,
“hs34″:”/rk3″,
“hs35″:”/rk3″,
“hs36″:”/rk3″,
“hs37″:”/rk3″,
“hs38″:”/rk3″,
“hs39″:”/rk3″,
“hs40″:”/rk3″,
“hs41″:”/rk4″,
“hs42″:”/rk4″,
“hs43″:”/rk4″,
“hs44″:”/rk4″,
“hs45″:”/rk4″,
“hs46″:”/rk4″,

…

“10.10.20.11”：”/rk1”，
“10.10.20.12”：”/rk1”，
“10.10.20.13”：”/rk1”，
“10.10.20.14”：”/rk1”，
“10.10.20.15”：”/rk1”，
“10.10.20.16”：”/rk1”，
“10.10.20.17”：”/rk1”，
“10.10.20.18”：”/rk1”，
“10.10.20.19”：”/rk1”，
“10.10.20.20”：”/rk1”，
“10.10.20.21”：“/rk2”，
“10.10.20.22”：”/rk2”，
“10.10.20.23”：”/rk2”，
“10.10.20.24”：”/rk2”，
“10.10.20.25”：”/rk2”，
“10.10.20.26”：”/rk2”，
“10.10.20.27”：”/rk2”，
“10.10.20.28”：”/rk2”，
“10.10.20.29”：”/rk2”，
“10.10.20.30”：”/rk2”，
“10.10.20.31”：”/rk3”，
“10.10.20.32”：”/rk3”，
“10.10.20.33”：”/rk3”，
“10.10.20.34”：”/rk3”，
“10.10.20.35”：”/rk3”，
“10.10.20.36”：”/rk3”，
“10.10.20.37”：”/rk3”，
“10.10.20.38”：”/rk3”，
“10.10.20.39”：”/rk3”，
“10.10.20.40”：”/rk3”，
“10.10.20.41”：”/rk4”，
“10.10.20.42”：”/rk4”，
“10.10.20.43”：”/rk4”，
“10.10.20.44”：”/rk4”，
“10.10.20.45”：”/rk4”，
“10.10.20.46”：”/rk4”，

…
}

如果 len(sys.argv)==1:
打印 DEFAULT_RACK
其他：
print join([RACK_MAP.get(i, DEFAULT_RACK) for i in sys.argv[1:]],” “)

原来这个程序我返回的是

“hs11”：”/rk1/hs11”，

结果执行mapreduce 程序时报如下错误：

MapReduce 作业总数 = 1
启动工作 1 中的 1
由于没有reduce操作符，reduce任务的数量被设置为0
开始作业 = job_201307241502_0003，跟踪 URL = http://hs11:50030/jobdetails.jsp?jobid=job_201307241502_0003
终止命令 = /home/hadoop/hadoop-1.1.2/libexec/../bin/hadoop 作业？ -kill job_201307241502_0003
Stage-1的Hadoop作业信息：映射器数量：0；减速机数量：0
2013-07-24 18:38:11,854 第一阶段地图 = 100%,?减少=100%
已结束作业 = job_201307241502_0003，有错误
作业出错，获取调试信息…
职位跟踪网址：http://hs11:50030/jobdetails.jsp?jobid=job_201307241502_0003
FAILED：执行错误，从 org.apache.hadoop.hive.ql.exec.MapRedTask
返回代码 2 MapReduce 作业启动：
工作 0：？ HDFS 读取：0 HDFS 写入：0 失败
MapReduce CPU 总花费时间：0 毫秒

通过http://hs11:50030/jobdetails.jsp?jobid=job_201307241502_0002?可以看到：

作业初始化失败：

java.lang.NullPointerException

at?org.apache.hadoop.mapred.JobTracker.resolveAndAddToTopology(JobTracker.java:2751)
at?org.apache.hadoop.mapred.JobInProgress.createCache(JobInProgress.java:578)
at?org.apache.hadoop.mapred.JobInProgress.initTasks(JobInProgress.java:750)

在 org.apache.hadoop.mapred.JobTracker.initJob(JobTracker.java:3775)

at?org.apache.hadoop.mapred.EagerTaskInitializationListener$InitJob.run(EagerTaskInitializationListener.java:90)
在？java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
在 java.lang.Thread.run(Thread.java:662)

原来系统在配置敏感时，不需要在脚本中返回设备名或主机名，系统会自动添加。改为上面的topology.py后，系统执行正确。

相关博文：

hadoop 打印配置参数
hadoop 中的 ClassNotFoundException
hadoop ubuntu 集群安装

译文地址：hadoop配置装载，感谢原作者分享。

声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

解释InnoDB缓冲池及其对性能的重要性。Apr 19, 2025 am 12:24 AM

InnoDBBufferPool通过缓存数据和索引页来减少磁盘I/O，提升数据库性能。其工作原理包括：1.数据读取：从BufferPool中读取数据；2.数据写入：修改数据后写入BufferPool并定期刷新到磁盘；3.缓存管理：使用LRU算法管理缓存页；4.预读机制：提前加载相邻数据页。通过调整BufferPool大小和使用多个实例，可以优化数据库性能。

MySQL与其他编程语言：一种比较Apr 19, 2025 am 12:22 AM

MySQL与其他编程语言相比，主要用于存储和管理数据，而其他语言如Python、Java、C 则用于逻辑处理和应用开发。 MySQL以其高性能、可扩展性和跨平台支持着称，适合数据管理需求，而其他语言在各自领域如数据分析、企业应用和系统编程中各有优势。

学习MySQL：新用户的分步指南Apr 19, 2025 am 12:19 AM

MySQL值得学习，因为它是强大的开源数据库管理系统，适用于数据存储、管理和分析。1）MySQL是关系型数据库，使用SQL操作数据，适合结构化数据管理。2）SQL语言是与MySQL交互的关键，支持CRUD操作。3）MySQL的工作原理包括客户端/服务器架构、存储引擎和查询优化器。4）基本用法包括创建数据库和表，高级用法涉及使用JOIN连接表。5）常见错误包括语法错误和权限问题，调试技巧包括检查语法和使用EXPLAIN命令。6）性能优化涉及使用索引、优化SQL语句和定期维护数据库。

MySQL：初学者的基本技能Apr 18, 2025 am 12:24 AM

MySQL适合初学者学习数据库技能。1.安装MySQL服务器和客户端工具。2.理解基本SQL查询，如SELECT。3.掌握数据操作：创建表、插入、更新、删除数据。4.学习高级技巧：子查询和窗口函数。5.调试和优化：检查语法、使用索引、避免SELECT*，并使用LIMIT。

MySQL：结构化数据和关系数据库Apr 18, 2025 am 12:22 AM

MySQL通过表结构和SQL查询高效管理结构化数据，并通过外键实现表间关系。1.创建表时定义数据格式和类型。2.使用外键建立表间关系。3.通过索引和查询优化提高性能。4.定期备份和监控数据库确保数据安全和性能优化。

MySQL：解释的关键功能和功能Apr 18, 2025 am 12:17 AM

MySQL是一个开源的关系型数据库管理系统，广泛应用于Web开发。它的关键特性包括：1.支持多种存储引擎，如InnoDB和MyISAM，适用于不同场景；2.提供主从复制功能，利于负载均衡和数据备份；3.通过查询优化和索引使用提高查询效率。

SQL的目的：与MySQL数据库进行交互Apr 18, 2025 am 12:12 AM

SQL用于与MySQL数据库交互，实现数据的增、删、改、查及数据库设计。1）SQL通过SELECT、INSERT、UPDATE、DELETE语句进行数据操作；2）使用CREATE、ALTER、DROP语句进行数据库设计和管理；3）复杂查询和数据分析通过SQL实现，提升业务决策效率。

初学者的MySQL：开始数据库管理Apr 18, 2025 am 12:10 AM

MySQL的基本操作包括创建数据库、表格，及使用SQL进行数据的CRUD操作。1.创建数据库：CREATEDATABASEmy_first_db;2.创建表格：CREATETABLEbooks(idINTAUTO_INCREMENTPRIMARYKEY,titleVARCHAR(100)NOTNULL,authorVARCHAR(100)NOTNULL,published_yearINT);3.插入数据：INSERTINTObooks(title,author,published_year)VA

See all articles