1、环境说明 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: Hostname IP 新建用户 新建用户密码 Master 10.10.10.213 hadoop 123456 Slave1 10.10.10.214
1、环境说明
集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下:
Hostname | IP | 新建用户 | 新建用户密码 |
Master | 10.10.10.213 | hadoop | 123456 |
Slave1 | 10.10.10.214 | hadoop | 123456 |
Slave2 | 10.10.10.215 | hadoop | 123456 |
三个节点均使用centos?6.3系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构。
2、准备工作
2.1、修改Hostname
为了集群能够正常稳定的运行,我们需要将每个节点的hostname分别配置为对应的Master、Slave1、Slave2。
(1)在Master服务器中执行以下命令:
hostname Master //当前有效
vi /etc/sysconfig/network //重启后生效
HOSTNAME=Master
(2)在Slave1服务器中执行以下命令:
hostname Slave1 //当前有效
vi /etc/sysconfig/network //重启后生效
HOSTNAME=Slave1
(3)在Slave2服务器中执行以下命令:
hostname Slave2 //当前有效
vi /etc/sysconfig/network //重启后生效
HOSTNAME=Slave2
2.2、添加Hosts映射关系
分别在三个节点下通过如下命令修改hosts映射关系:
vi /etc/hosts
添加内容如下:
Master 10.10.10.213 Slave1 10.10.10.214 Slave2 10.10.10.215
2.3、配置JDK环境
Hadoop集群必须依赖JDK环境,所以这里我们首先需要配置好JDK环境,同样为了管理,我们建议服务器中的节点JDK安装环境均在相同路径下。
2.3.1、解压安装包
拷贝jdk文件jdk-6u25-linux-x64.bin到/usr/lib/java文件目录(该目录可自行定义)下,解压安装包,如果文件权限被限制,可通过如下命令进行赋权限操作:
chmod u+w jdk-6u25-linux-x64.bin
2.3.2、修改环境配置信息
vi /etc/profile
在最后加上:
export JAVA_HOME=/usr/lib/java/jdk1.6.0_25 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
通过注销或者以下命令使修改生效:
source /etc/profile
2.3.3、检查当前JDK版本信息
java -version
2.3.4、补充(可选)
如果查看当前的JDK版本不是刚才设置的JDK版本,则可以进行默认JDK版本设置操作:
sudo update-alternatives --install /usr/bin/java java /usr/lib/java/jdk1.6.0_25/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/lib/java/jdk1.6.0_25/bin/javac 300 sudo update-alternatives --config java(选择jdk1.6.0_25版本的序号就行)
2.4、安装SSH
Centos系统安装时默认可以选择安装SSH,ubuntu下可以通过如下命令进行安装(前提是必须联网):
sudo apt-get install ssh sudo apt-get install rsync
2.5、新建用户
为了hadoop集群的安全与方便管理,我们要另外新建用户,并设置密码,命令如下:
sudo adduser hadoop sudo passwd hadoop
上述命令中,第一行命令新建了一个user为hadoop的用户,第二行命令是为这个hadoop用户设置密码,同样最好服务器之间均保持一致。
2.6、配置集群之间SSH无密码登陆
集群环境的使用必须通过ssh无密码登陆来执行,本机登陆本机必须无密码登陆,主机与从机之间必须可以双向无密码登陆,从机与从机之间无限制。以本次为例,比如Master与Slave1之间的无密码登陆设置步骤如下:
(1)进入Master服务器,进行无密码自登陆设置
ssh hadoop@Master //登陆Master ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //生成密钥 chmod 700 ~/.ssh && chmod 600 ~/.ssh/* //设置权限
如果不知道是否配置成功,可通过如下命令进行验证:
ssh localhost如果上述命令不需要输入密码则表示配置成功。
进入Slave1服务器,进行无密码自登陆设置,操作同上,只需将对应的Master改为Slave1即可,此处省略。
(2)进入Master服务器,设置Master->Slave1的无密码登陆
ssh hadoop@Master //登陆Master cat ~/.ssh/id_rsa.pub | ssh hadoop@Slave1 'cat - >> ~/.ssh/authorized_keys' ssh hadoop@Slave1 //若此处不需要输入密码则配置成功
(3)进入Slave1服务器,设置Slave1->Master的无密码登陆
ssh hadoop@Slave1 //登陆Slave1 cat ~/.ssh/id_rsa.pub | ssh hadoop@Master 'cat - >> ~/.ssh/authorized_keys' ssh hadoop@Master //若此处不需要输入密码则成功
以上便是Master与Slave1之间的双向无密码登陆配置。Master与Slave2之间的配置原理同上述基本一样,所以不再赘述。
3、Hadoop集群安装配置
3.1、修改hadoop配置文件
在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf目录下的6个文件:
(1)core-site.xmlfs.default.name hdfs://Master:9000(2)hadoop-env.sh
在该文件中加上如下一行代码:
export JAVA_HOME=(你配置的jdk路径,比如:/usr/java/jdk1.6.0_25)
(3)hdfs-site.xml
dfs.name.dir /home/hadoop/temp/hadoop dfs.data.dir /home/hadoop/temp/hadoop dfs.replication 1 dfs.support.append true
(4)mapred-site.xml
mapred.job.tracker Master:9001 mapred.acls.enabled false
(5)Masters
Master
(6)Slaves
Slave1 Slave2
3.2、同步安装包
将解压修改后的hadoop-1.0.3文件夹分别拷贝到Master、Slave1、Slave2的相同hadoop安装路径下。
3.3、启动Hadoop集群
进入Master的hadoop-1.0.3目录,执行以下操作:
bin/hadoop namenode -format //格式化namenode,第一次启动服务前执行的操作,以后不需要执行 bin/start-all.sh //启动hadoop jps //用jps命令能看到除jps外有5个进程
至此,hadoop集群配置过程结束。可通过浏览器地址http://10.10.10.213:50070?查看节点启用状态验证配置是否成功。
4、Zookeeper集群安装配置
4.1、修改zookeeper配置文件zoo.cfg
在centos系统下解压zookeeper安装包zookeeper-3.4.3.tar.gz?,进入到conf目录,将zoo_sample.cfg拷贝一份命名为zoo.cfg(Zookeeper?在启动时会找这个文件作为默认配置文件),打开该文件进行修改为以下格式(注意权限问题,如果最后配置有问题请检查过程中权限是否正确)。
dataDir=/home/hadoop/temp/zookeeper/data server.0=10.10.10.213:2888:3888 server.1=10.10.10.214:2888:3888 server.2=10.10.10.215:2888:3888
4.2、新建目录、新建并编辑myid文件
(本次配置myid文件放在/home/hadoop/temp/zookeeper/data目录下)
mkdir /home/hadoop/temp/zookeeper/data //dataDir目录 vi /home/hadoop/temp/zookeeper/data/myid
注意myid文件中的内容为:Master中为0,Slave1中为1,Slave2中为2,分别与zoo.cfg中对应起来。
4.3、同步安装包
将解压修改后的zookeeper-3.4.3文件夹分别拷贝到Master、Slave1、Slave2的相同zookeeper安装路径下。注意:myid文件的内容不是一样的,各服务器中分别是对应zoo.cfg中的设置。
4.4、启动zookeeper
Zookeeper的启动与hadoop不一样,需要每个节点都执行,分别进入3个节点的zookeeper-3.4.3目录,启动zookeeper:
bin/zkServer.sh start注意:此时如果报错先不理会,继续在另两台服务器中执行相同操作。
4.5、检查zookeeper是否配置成功
待3台服务器均启动后,如果过程正确的话zookeeper应该已经自动选好leader,进入每台服务器的zookeeper-3.4.3目录,执行以下操作查看zookeeper启动状态:
bin/zkServer.sh status
如果出现以下代码表示安装成功了。
[java] view plaincopy JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.3/bin/../conf/zoo.cfg Mode: follower //或者有且只有一个leader
5、HBase集群安装配置
5.1、修改hbase配置文件
在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf目录下的3个文件:
(1)hbase-env.sh
export JAVA_HOME=/usr/lib/java/jdk1.6.0_25 //JDK的安装目录 export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.3/conf //hadoop的安装目录 export HBASE_MANAGES_ZK=true
(2)hbase-site.xml
hbase.rootdir hdfs://Master:9000/hbase hbase.cluster.distributed true hbase.zookeeper.property.clientPort 2181 hbase.zookeeper.quorum Master hbase.zookeeper.property.dataDir /home/hadoop/temp/zookeeper dfs.support.append true
(3)regionservers
Slave1 Slave2
5.2、同步安装包
将解压修改后的hbase-0.94.1-security文件夹分别拷贝到Master、Slave1、Slave2的相同hbase安装路径下。
5.3、启动HBase
进入Master的hbase-0.94.1-security目录,执行以下操作:
bin/start-hbase.sh //之后用jps查看是否所有进程都已启动
至此,hbase服务配置过程结束。可通过浏览器地址http://10.10.10.213:60010?查看hbase是否可用。
也可以执行以下命令,进入hbase?shell进行验证。
6、结语
关于hadoop、zookeeper、hbase的启动与关闭顺序:启动时hadoop和zookeeper随意先后,但是hbase必须最后启动,关闭时hbase必须首先关闭,然后随意先后关闭hadoop、zookeeper。否则,会出现异常。
关于各软件的安装包可以去官网下载,不同版本的安装配置可能会有少许的变动,而且版本搭配如果不一样的话也可能出现问题,有问题就针对性地去查,这样学习才有进步。
作者:jinnchang 发表于2013-5-8 16:29:30 原文链接
阅读:44 评论:0 查看评论
原文地址:分布式集群环境hadoop、hbase、zookeeper搭建(全), 感谢原作者分享。

MySQL은 초보자가 데이터베이스 기술을 배우는 데 적합합니다. 1. MySQL 서버 및 클라이언트 도구를 설치하십시오. 2. SELECT와 같은 기본 SQL 쿼리를 이해하십시오. 3. 마스터 데이터 작업 : 데이터를 만들고, 삽입, 업데이트 및 삭제합니다. 4. 고급 기술 배우기 : 하위 쿼리 및 창 함수. 5. 디버깅 및 최적화 : 구문 확인, 인덱스 사용, 선택*을 피하고 제한을 사용하십시오.

MySQL은 테이블 구조 및 SQL 쿼리를 통해 구조화 된 데이터를 효율적으로 관리하고 외래 키를 통해 테이블 간 관계를 구현합니다. 1. 테이블을 만들 때 데이터 형식을 정의하고 입력하십시오. 2. 외래 키를 사용하여 테이블 간의 관계를 설정하십시오. 3. 인덱싱 및 쿼리 최적화를 통해 성능을 향상시킵니다. 4. 데이터 보안 및 성능 최적화를 보장하기 위해 데이터베이스를 정기적으로 백업 및 모니터링합니다.

MySQL은 웹 개발에 널리 사용되는 오픈 소스 관계형 데이터베이스 관리 시스템입니다. 주요 기능에는 다음이 포함됩니다. 1. 다른 시나리오에 적합한 InnoDB 및 MyISAM과 같은 여러 스토리지 엔진을 지원합니다. 2.로드 밸런싱 및 데이터 백업을 용이하게하기 위해 마스터 슬레이브 복제 기능을 제공합니다. 3. 쿼리 최적화 및 색인 사용을 통해 쿼리 효율성을 향상시킵니다.

SQL은 MySQL 데이터베이스와 상호 작용하여 데이터 첨가, 삭제, 수정, 검사 및 데이터베이스 설계를 실현하는 데 사용됩니다. 1) SQL은 Select, Insert, Update, Delete 문을 통해 데이터 작업을 수행합니다. 2) 데이터베이스 설계 및 관리에 대한 생성, 변경, 삭제 문을 사용하십시오. 3) 복잡한 쿼리 및 데이터 분석은 SQL을 통해 구현되어 비즈니스 의사 결정 효율성을 향상시킵니다.

MySQL의 기본 작업에는 데이터베이스, 테이블 작성 및 SQL을 사용하여 데이터에서 CRUD 작업을 수행하는 것이 포함됩니다. 1. 데이터베이스 생성 : createAbasemy_first_db; 2. 테이블 만들기 : CreateTableBooks (idintauto_incrementprimarykey, titlevarchar (100) notnull, authorvarchar (100) notnull, published_yearint); 3. 데이터 삽입 : InsertIntobooks (Title, Author, Published_year) VA

웹 응용 프로그램에서 MySQL의 주요 역할은 데이터를 저장하고 관리하는 것입니다. 1. MySQL은 사용자 정보, 제품 카탈로그, 트랜잭션 레코드 및 기타 데이터를 효율적으로 처리합니다. 2. SQL 쿼리를 통해 개발자는 데이터베이스에서 정보를 추출하여 동적 컨텐츠를 생성 할 수 있습니다. 3.mysql은 클라이언트-서버 모델을 기반으로 작동하여 허용 가능한 쿼리 속도를 보장합니다.

MySQL 데이터베이스를 구축하는 단계에는 다음이 포함됩니다. 1. 데이터베이스 및 테이블 작성, 2. 데이터 삽입 및 3. 쿼리를 수행하십시오. 먼저 CreateAbase 및 CreateTable 문을 사용하여 데이터베이스 및 테이블을 작성한 다음 InsertInto 문을 사용하여 데이터를 삽입 한 다음 최종적으로 SELECT 문을 사용하여 데이터를 쿼리하십시오.

MySQL은 사용하기 쉽고 강력하기 때문에 초보자에게 적합합니다. 1.MySQL은 관계형 데이터베이스이며 CRUD 작업에 SQL을 사용합니다. 2. 설치가 간단하고 루트 사용자 비밀번호를 구성해야합니다. 3. 삽입, 업데이트, 삭제 및 선택하여 데이터 작업을 수행하십시오. 4. Orderby, Where and Join은 복잡한 쿼리에 사용될 수 있습니다. 5. 디버깅은 구문을 확인하고 쿼리를 분석하기 위해 설명을 사용해야합니다. 6. 최적화 제안에는 인덱스 사용, 올바른 데이터 유형 선택 및 우수한 프로그래밍 습관이 포함됩니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

WebStorm Mac 버전
유용한 JavaScript 개발 도구

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

SublimeText3 영어 버전
권장 사항: Win 버전, 코드 프롬프트 지원!

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.
