ubuntu12.04+hadoop2.3.0+eclipse+IHPI安装配置

夜辰君_5625

夜辰君_5625

2016-06-07

1738人浏览

原创

3.2分布式搭建 hostname 角色 登录用户 IP 网关 hapmaster 主控master hadoop 210.31.181.211 210.31.181.1 hapslave1 附属slave hadoop 210.31.181.216 210.31.181.1 hapslave2 附属slave hadoop 210.31.181.217 210.31.181.1 hapslave3 附属slave hadoop 2


3.2  分布式搭建

hostname

角色

登录用户

IP

网关

hapmaster

主控master

hadoop

210.31.181.211

210.31.181.1

hapslave1

附属slave

hadoop

210.31.181.216

210.31.181.1

hapslave2

附属slave

hadoop

210.31.181.217

210.31.181.1

hapslave3

附属slave

hadoop

210.31.181.218

210.31.181.1

hapslave4

附属slave

hadoop

210.31.181.219

210.31.181.1

表3-1 集群网络配置

1.安装ubuntu12.04 系统,更新源,初始化root用户,关闭防火墙,按表3-1中个节点的配置修改IP,更改hostname和hosts,重启电脑使更改生效。

a.更新源()

b.初始化root用户

打开终端输入:sudo passwd
Password: Enter new UNIX password: Retype new UNIX password: c.关闭防火墙

sudo ufw disable

d.配置修改IP

用鼠标点右上角的网络设置进行修改,最好不要直接修改/etc/network/interfaces)

e.更改hostname和hosts

sudo vi /etc/hostname

f.编辑/etc/sudoers文件。也就是输入命令"vim /etc/sudoers",进入编辑模式,找到这一行:"root ALL=(ALL) ALL"在下面分别添加"hadoop ALL=(ALL) ALL",然后保存退出。

2.安装SSH ,并检查是否安装成功。

 sodu apt-get install ssh,如果不成功检查一下是否做过更新源。

3. 安装JDK,修改环境变量,使更改生效,查看java版本。

a.JDK要下载1.6.0版本的,最好安装到/home/hadoop下。

b.修改环境变量sudo gedit /etc/profile

export JAVA_HOME=/hadoop/jdk1.6.0_41

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib

c.使更改生效sudo source /etc/profile

d.查看java版本java -version

4. 安装Hadoop(下载地址http://pan.baidu.com/s/1o62oUeA),配置环境变量,重载 source /etc/profile,查看hadoop版本,赋予用户对hadoop安装目录可写的权限。

a.安装 

sudo tar -zxvf hadoop-2.3.0.tar.gz -C /home/hadoop

b.配置环境变量

在export PATH=/hadoop/hadoop-2.3.0/sbin:/hadoop/hadoop-2.3.0/bin:$JAVA_HOME/bin:$PATH$

c.重载 

source /etc/profile

d.查看hadoop版本

hadoop version

e.赋予用户对hadoop安装目录可写的权限

sudo chown -hR hadoop/hadoop-2.3.0/ 

5. Hadoop集群配置

配置文件1:hadoop-env.sh

修改JAVA_HOME值(export JAVA_HOME=/home/hadoop/jdk1.6.0_41)

配置文件2:yarn-env.sh

修改JAVA_HOME值(exportJAVA_HOME=/home/hadoop/jdk1.6.0_41)

配置文件3:slaves,这个文件里面保存所有slave节点的hostname。

hapslave1

hapslave2

hapslave3

hapslave4

 
 

配置文件4:core-site.xml


配置文件5:hdfs-site.xml


配置文件6:mapred-site.xml


6. 使用将hapmaster的所有文件及配置复制到hapslave,修改IP和hostname;

7. 生成新公钥,并复制到其他节点,重启SSH服务命令使其生效,并登陆。

8.启动hadoop集群,查看集群状态。

start-all.sh
9. 测试WordCount在本地新建文件夹input,内有两文本文件,内容为单词。上传输入文件到HDFS,运行WordCount ,运行如下图所示


查看结果 ./bin/hadoop fs -cat /output/part-r-00000

停止,运行情况如下图所示。



4 开发平台的配置

4.1 Eclipse安装

1. 进入安装包所在的文件夹,并解压安装包到hadoop用户文件夹下。

tar -zxvf eclipse-standard-luna-M2-linux-gtk.tar.gz -C /home/hadoop/

4.2 在eclipse上安装hadoop插件

1. 复制hadoop-eclipse-plugin-2.3.0.jar到eclipse安装目录/plugins/下(下载地址http://pan.baidu.com/s/1jGC60KY,重命名为hadoop-eclipse-plugin-2.3.0.ja)。

2. 重启eclipse,配置hadoop installation directory。

打开Window-->Preferens,选择Hadoop Map/Reduce选项,在这个选项里配置Hadoop installationdirectory。配置完成后退出。

3. 配置Map/Reduce Locations。

在Window-->Show View中打开Map/Reduce Locations。

在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中配置Location name为Hadoop,Map/Reduce Master Host为210.31.181.211,Port为10020;DFS Master Port为9000.

4. 新建Map/Reduce项目,验证hadoop插件是否安装成功。

File-->New-->Other-->Map/Reduce Project项目名取为WordCount。 复制hadoop-2.3.0-src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/WordCount.java到workspace刚刚新建的的项目文件夹下。

5. 上传模拟数据文件夹。

在DFS Locations下的文件夹处点击右键,选择上传一个文件夹。在弹出的窗口中填入要上传的文件夹的路径。

6. 用Eclipse运行WordCount。

在新建的项目下,点击WordCount.java,右键-->Run As-->RunConfigurations。

在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount。

配置运行参数,点Arguments,在Program arguments中输入hdfs://210.31.181.211:9000/input/hdfs://210.31.181.211:9000/output。

配置VM arguments为-Xms512m -Xmx1024m-XX:MaxPermSize=256m。

点击Run as-> Run on Hadoop,运行程序。

7. 查看运行结果

在DFS Location处点击鼠标右键->Refresh

在part-r-00000处点击右键->View,查看运行结果。

4.3 添加HIPI接口

把hipi-dev.tar.gz(下载地址http://pan.baidu.com/s/1eQFwzFc)中3rdparty中的metadata-extractor-2.3.1.jar导入的到项目中去。

将junit-4.11.jar导入到项目中。

由于现在HIPI还有一些BUG,所以把hipi-dev.tar.gz中src的源码和experiments源码引入到eclipse的jar项目中,一方面便于学习源码,另一方面便于修改其中的问题。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

20

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

60

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

60

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

20

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

60

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

40

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

180

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

140

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

160

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习