Hadoop HBase集群配置

服务器： nodea ----- master nodeb ----- slave nodec ----- slave 新建一个hadoop的账户 sudo useradd -d /home/hadoop -m hadoop -s /bin/bash sudo passwd hadoop 密码任意。 安装必要环境 jdk安装 sudo apt-get install sun-java6-jdk 安装完成后jdk位

服务器：

nodea -----> master

nodeb -----> slave

nodec -----> slave

新建一个hadoop的账户

sudo useradd -d /home/hadoop -m hadoop -s /bin/bash

sudo passwd hadoop

密码任意。

安装必要环境

jdk安装 sudo apt-get install sun-java6-jdk

安装完成后jdk位置为/usr/lib/jvm/java-6-sun

建立ssh免密码登录。

ssh-keygen -t rsa scp authorized_keys hadoop@nodeb:~/.ss

一直回车，会再家目录下建立.ssh文件，文件包含id_rsa 和 id_rsa.pub

将nodeb和nodec的id_rsa.pub 文件传到nodea上，注意要重命名

scp id_rsa.pub hadoop@nodea:~/.ssh/nodeb

scp id_rsa.pub hadoop@nodea:~/.ssh/nodec

然后再nodea上将server i，c，香港服务器，g的id_rsa.pub文件追加到authorized_keys中

hadoop@nodea:~/.ssh$ cat id_rsa.pub >> authorized_keys

hadoop@nodea:~/.ssh$ cat nodec >> authorized_keys

hadoop@nodea:~/.ssh$ cat nodeb >> authorized_keys

然后将authorized_keys文件分发到nodeb和nodea的.ssh目录下

scp authorized_keys hadoop@nodec:~/.ssh

scp authorized_keys hadoop@nodeb:~/.ssh

验证无密码登录

ssh localhost

ssh nodec

等等，香港服务器，验证所有的服务器是否ssh可以无密码登录。

安装&配置hadoop

下载hadoop

wget

解压后开始配置hadoop

修改conf/hadoop-env.sh文件

修改JAVA_HOME，网站空间，修改成本机的java home

把ssh的端口改成本机的端口。

export HADOOP_SSH_OPTS=" "

修改pids的存放位置

export HADOOP_PID_DIR=/home/hadoop/hadoop-1.0.4/pids

修改conf/core-site.xml 添加下列属性：

fs.default.namehdfs://nodea:9000

修改conf/hdfs-site.xml 添加下列属性

dfs.name.dir/home/hadoop/data/namenodedfs.data.dir/home/hadoop/data/datanodedfs.replication3dfs.support.appendtruedfs.datanode.max.xcievers4096

修改conf/mapred-site.xml 文件添加下列属性：

mapred.job.trackernodea:9001

修改conf/master文件：

将localhost替换为nodea

修改conf/slaves文件：

将localhost替换为

nodec

nodeb

最后将配置完成的hadoop同步到所有服务器上

可以用

scp -r hadoop-1.0.4 hadoop@nodeb:~

scp -r hadoop-1.0.4 hadoop@nodec:~

运行hadoop：

1、格式化namenode

bin/hadoop namenode -format

2、运行hadoop

bin/start-all.sh

配置HBase

下载Hbase

wget

下载后解压配置HBase

首先将Hbase目录下lib里的 hadoop-core-1.0.3.jar删除，然后替换为下载的hadoop的jar文件

cp /home/hadoop/hadoop-1.0.4/hadoop-core-1.0.4.jar lib/

配置conf/hbase-env.sh文件：

export JAVA_HOME=/usr/lib/jvm/java-6-sun

export HBASE_SSH_OPTS=" "

export HBASE_PID_DIR=/home/hadoop/hbase-0.94.2/pids

export HBASE_MANAGES_ZK=true

然后修改hbase-site.xml文件

hbase.rootdirhdfs://nodea:9000/hbasehbase.zookeeper.quorumnodeahbase.zookeeper.property.dataDir/home/hadoop/hbase-0.94.2/zookeeperhbase.cluster.distributedtruehbase.masternodea:6000dfs.support.appendtrue

修改regionservers文件

将localhost替换为

nodeb

nodec

然后将文件同步到nodec和nodeb上

scp -r hbase-0.94.2/ hadoop@nodeb:~

scp -r hbase-0.94.2/ :~

运行hbase

再运行hbase之前最好先检查hadoop是否是安全模式，

bin/hadoop dfsadmin -safemode get

如果结果显示是：

Safe mode is ON

则等待hadoop退出安全模式再去 启动hbase

也可以通过命令、

bin/hadoop dfsadmin -safemode leave

推出安全模式，但是有一定的风险。

等hadoop退出安全模式后运行hbase

bin/start-hbase.sh