Hbase+Hadoop安装部署-mysql教程-PHP中文網

首頁

資料庫

mysql教程

Hbase+Hadoop安装部署

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 07, 2016 pm 04:30 PM

vmware安裝部署

VMware安装多个RedHat Linux操作系统，摘抄了不少网上的资料，基本上按照顺序都能安装好 ? 1、建用户 groupadd bigdata useradd -g bigdata hadoop passwd hadoop ? 2、建JDK vi /etc/profile ? export JAVA_HOME=/usr/lib/java-1.7.0_07 export CLASSPATH=.

VMware安装多个RedHat Linux操作系统，摘抄了不少网上的资料，基本上按照顺序都能安装好

1、建用户

groupadd bigdata

useradd -g bigdata hadoop

passwd hadoop

2、建JDK

vi /etc/profile

export JAVA_HOME=/usr/lib/java-1.7.0_07

export CLASSPATH=.

export HADOOP_HOME=/home/hadoop/hadoop

export HBASE_HOME=/home/hadoop/hbase?

export HADOOP_MAPARED_HOME=${HADOOP_HOME}

export HADOOP_COMMON_HOME=${HADOOP_HOME}

export HADOOP_HDFS_HOME=${HADOOP_HOME}

export YARN_HOME=${HADOOP_HOME}

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export HBASE_CONF_DIR=${HBASE_HOME}/conf

export ZK_HOME=/home/hadoop/zookeeper

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin:$PATH

source /etc/profile

chmod 777 -R /usr/lib/java-1.7.0_07

3、修改hosts

vi /etc/hosts

加入

172.16.254.215 ? master

172.16.254.216 ? salve1

172.16.254.217 ? salve2

172.16.254.218 ? salve3

3、免ssh密码

215服务器

su -root

vi /etc/ssh/sshd_config

确保含有如下内容

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile ? ? ?.ssh/authorized_keys

重启sshd

service sshd restart

su - hadoop

ssh-keygen -t rsa

cd /home/hadoop/.ssh

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys

在217 ?218 ?216 分别执行?

mkdir /home/hadoop/.ssh

chmod 700 /home/hadoop/.ssh

在215上执行

scp id_rsa.pub hadoop@salve1:/home/hadoop/.ssh/

scp id_rsa.pub hadoop@salve2:/home/hadoop/.ssh/

scp id_rsa.pub hadoop@salve3:/home/hadoop/.ssh/

在217 ?218 ?216 分别执行?

cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys?

chmod 600 /home/hadoop/.ssh//authorized_keys

4、建hadoop与hbase、zookeeper

su - hadoop

mkdir /home/hadoop/hadoop

mkdir /home/hadoop/hbase

mkdir /home/hadoop/zookeeper

cp -r /home/hadoop/soft/hadoop-2.0.1-alpha/* /home/hadoop/hadoop/

cp -r /home/hadoop/soft/hbase-0.95.0-hadoop2/* /home/hadoop/hbase/

cp -r /home/hadoop/soft/zookeeper-3.4.5/* /home/hadoop/zookeeper/

1) hadoop 配置

vi /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh?

修改?

export JAVA_HOME=/usr/lib/java-1.7.0_07

export HBASE_MANAGES_ZK=true

vi /home/hadoop/hadoop/etc/hadoop/core-site.xml

加入

hadoop.tmp.dir

/home/hadoop/hadoop/tmp

A base for other temporary directories.

fs.default.name

hdfs://172.16.254.215:9000

hadoop.proxyuser.root.hosts

172.16.254.215

hadoop.proxyuser.root.groups

vi /home/hadoop/hadoop/etc/hadoop/slaves ?

加入（不用master做salve）

salve1

salve2

salve3

vi /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml

加入

dfs.replication

dfs.namenode.name.dir

file:/home/hadoop/hdfs/name

true

dfs.federation.nameservice.id

ns1

dfs.namenode.backup.address.ns1

172.16.254.215:50100

dfs.namenode.backup.http-address.ns1

172.16.254.215:50105

dfs.federation.nameservices

ns1

dfs.namenode.rpc-address.ns1

172.16.254.215:9000

dfs.namenode.rpc-address.ns2

172.16.254.215:9000

dfs.namenode.http-address.ns1

172.16.254.215:23001

dfs.namenode.http-address.ns2

172.16.254.215:13001

dfs.dataname.data.dir

file:/home/hadoop/hdfs/data

true

dfs.namenode.secondary.http-address.ns1

172.16.254.215:23002

dfs.namenode.secondary.http-address.ns2

172.16.254.215:23002

dfs.namenode.secondary.http-address.ns1

172.16.254.215:23003

dfs.namenode.secondary.http-address.ns2

172.16.254.215:23003

vi /home/hadoop/hadoop/etc/hadoop/yarn-site.xml

加入

yarn.resourcemanager.address

172.16.254.215:18040

yarn.resourcemanager.scheduler.address

172.16.254.215:18030

yarn.resourcemanager.webapp.address

172.16.254.215:18088

yarn.resourcemanager.resource-tracker.address

172.16.254.215:18025

yarn.resourcemanager.admin.address

172.16.254.215:18141

yarn.nodemanager.aux-services

mapreduce.shuffle

2） hbase配置

vi /home/hadoop/hbase/conf/hbase-site.xml

加入

dfs.support.append?

true?

hbase.rootdir?

hdfs://172.16.254.215:9000/hbase?

hbase.cluster.distributed?

true?

hbase.config.read.zookeeper.config?

true

hbase.master?

master?

hbase.zookeeper.quorum?

salve1,salve2,salve3?

zookeeper.session.timeout

60000

hbase.zookeeper.property.clientPort

2181

hbase.tmp.dir

/home/hadoop/hbase/tmp

Temporary directory on the local filesystem.

hbase.client.keyvalue.maxsize

10485760

vi /home/hadoop/hbase/conf/regionservers

加入

salve1

salve2

salve3

vi /home/hadoop/hbase/conf/hbase-env.sh

修改

export JAVA_HOME=/usr/lib/java-1.7.0_07

export HBASE_MANAGES_ZK=false

3) zookeeper配置

vi /home/hadoop/zookeeper/conf/zoo.cfg

加入

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/hadoop/zookeeper/data

clientPort=2181

server.1=salve1:2888:3888

server.2=salve2:2888:3888

server.3=salve3:2888:3888

将/home/hadoop/zookeeper/conf/zoo.cfg拷贝到/home/hadoop/hbase/

4) 同步master和salve

scp -r /home/hadoop/hadoop ?hadoop@salve1:/home/hadoop ?

scp -r /home/hadoop/hbase ?hadoop@salve1:/home/hadoop ?

scp -r /home/hadoop/zookeeper ?hadoop@salve1:/home/hadoop

scp -r /home/hadoop/hadoop ?hadoop@salve2:/home/hadoop ?

scp -r /home/hadoop/hbase ?hadoop@salve2:/home/hadoop ?

scp -r /home/hadoop/zookeeper ?hadoop@salve2:/home/hadoop

scp -r /home/hadoop/hadoop ?hadoop@salve3:/home/hadoop ?

scp -r /home/hadoop/hbase ?hadoop@salve3:/home/hadoop ?

scp -r /home/hadoop/zookeeper ?hadoop@salve3:/home/hadoop

设置 salve1 salve2 salve3 的zookeeper

echo "1" > /home/hadoop/zookeeper/data/myid

echo "2" > /home/hadoop/zookeeper/data/myid

echo "3" > /home/hadoop/zookeeper/data/myid

5）测试

测试hadoop

hadoop namenode -format -clusterid clustername

start-all.sh

hadoop fs -ls hdfs://172.16.254.215:9000/?

hadoop fs -mkdir hdfs://172.16.254.215:9000/hbase?

//hadoop fs -copyFromLocal ./install.log hdfs://172.16.254.215:9000/testfolder?

//hadoop fs -ls hdfs://172.16.254.215:9000/testfolder

//hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/*.txt hdfs://172.16.254.215:9000/testfolder

//cd /usr/hadoop/hadoop-2.0.1-alpha/share/hadoop/mapreduce

//hadoop jar hadoop-mapreduce-examples-2.0.1-alpha.jar wordcount hdfs://172.16.254.215:9000/testfolder hdfs://172.16.254.215:9000/output

//hadoop fs -ls hdfs://172.16.254.215:9000/output

//hadoop fs -cat ?hdfs://172.16.254.215:9000/output/part-r-00000

启动 salve1 salve2 salve3 的zookeeper

zkServer.sh start

启动 start-hbase.sh

进入 hbase shell

测试 hbase?

list

create 'student','name','address' ?

put 'student','1','name','tom'

get 'student','1'

已有 0 人发表留言，猛击->> 这里

ITeye推荐

—软件人才免语言低担保赴美带薪读研！—

Hbase+Hadoop安装部署

原文地址：Hbase+Hadoop安装部署, 感谢原作者分享。

陳述

本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn

MySQL與Sqlite有何不同？Apr 24, 2025 am 12:12 AM

MySQL和SQLite的主要區別在於設計理念和使用場景：1.MySQL適用於大型應用和企業級解決方案，支持高性能和高並發；2.SQLite適合移動應用和桌面軟件，輕量級且易於嵌入。

MySQL中的索引是什麼？它們如何提高性能？Apr 24, 2025 am 12:09 AM

MySQL中的索引是數據庫表中一列或多列的有序結構，用於加速數據檢索。 1）索引通過減少掃描數據量提升查詢速度。 2）B-Tree索引利用平衡樹結構，適合範圍查詢和排序。 3）創建索引使用CREATEINDEX語句，如CREATEINDEXidx_customer_idONorders(customer_id)。 4）複合索引可優化多列查詢，如CREATEINDEXidx_customer_orderONorders(customer_id,order_date)。 5）使用EXPLAIN分析查詢計劃，避

說明如何使用MySQL中的交易來確保數據一致性。Apr 24, 2025 am 12:09 AM

在MySQL中使用事務可以確保數據一致性。 1)通過STARTTRANSACTION開始事務，執行SQL操作後用COMMIT提交或ROLLBACK回滾。 2)使用SAVEPOINT可以設置保存點，允許部分回滾。 3)性能優化建議包括縮短事務時間、避免大規模查詢和合理使用隔離級別。

在哪些情況下，您可以選擇PostgreSQL而不是MySQL？Apr 24, 2025 am 12:07 AM

選擇PostgreSQL而非MySQL的場景包括：1)需要復雜查詢和高級SQL功能，2)要求嚴格的數據完整性和ACID遵從性，3)需要高級空間功能，4)處理大數據集時需要高性能。 PostgreSQL在這些方面表現出色，適合需要復雜數據處理和高數據完整性的項目。

如何保護MySQL數據庫？Apr 24, 2025 am 12:04 AM

MySQL數據庫的安全可以通過以下措施實現：1.用戶權限管理：通過CREATEUSER和GRANT命令嚴格控制訪問權限。 2.加密傳輸：配置SSL/TLS確保數據傳輸安全。 3.數據庫備份和恢復：使用mysqldump或mysqlpump定期備份數據。 4.高級安全策略：使用防火牆限制訪問，並啟用審計日誌記錄操作。 5.性能優化與最佳實踐：通過索引和查詢優化以及定期維護兼顧安全和性能。

您可以使用哪些工具來監視MySQL性能？Apr 23, 2025 am 12:21 AM

如何有效監控MySQL性能？使用mysqladmin、SHOWGLOBALSTATUS、PerconaMonitoringandManagement(PMM)和MySQLEnterpriseMonitor等工具。 1.使用mysqladmin查看連接數。 2.用SHOWGLOBALSTATUS查看查詢數。 3.PMM提供詳細性能數據和圖形化界面。 4.MySQLEnterpriseMonitor提供豐富的監控功能和報警機制。

MySQL與SQL Server有何不同？Apr 23, 2025 am 12:20 AM

MySQL和SQLServer的区别在于：1)MySQL是开源的，适用于Web和嵌入式系统，2)SQLServer是微软的商业产品，适用于企业级应用。两者在存储引擎、性能优化和应用场景上有显著差异，选择时需考虑项目规模和未来扩展性。

在哪些情況下，您可以選擇SQL Server而不是MySQL？Apr 23, 2025 am 12:20 AM

在需要高可用性、高級安全性和良好集成性的企業級應用場景下，應選擇SQLServer而不是MySQL。 1)SQLServer提供企業級功能，如高可用性和高級安全性。 2)它與微軟生態系統如VisualStudio和PowerBI緊密集成。 3)SQLServer在性能優化方面表現出色，支持內存優化表和列存儲索引。

See all articles