Linux下部署HBase 2.5分布式集群

云宇大大_7349

云宇大大_7349

2026-06-30

317人浏览

原创

hbase 2.5.x 分布式集群必须依赖外部 zookeeper(3.4.6+),hbase_manages_zk=false 是硬性要求;内置 zookeeper 仅支持伪分布式,真集群会导致 regionserver 注册失败、master 卡在 init 状态。

linux下部署hbase 2.5分布式集群

直接说结论:HBase 2.5.x 分布式集群必须依赖外部 ZooKeeper(3.4.6+),HBASE_MANAGES_ZK=false 是硬性要求;用内置 ZooKeeper 只能跑伪分布式,一上真集群就 RegionServer 注册失败、Master 卡在 INIT 状态。

为什么不能用 HBASE_MANAGES_ZK=true 搭分布式集群

这个配置只允许单点启动一个 ZooKeeper 实例,而分布式 HBase 要求至少 3 节点 ZooKeeper 集群来保证 HMaster 高可用和元数据强一致。一旦设为 true,所有 RegionServer 会尝试连本机 2181,但其他节点根本没开 ZK 服务 —— 日志里反复出现 Connection refused 或 Session expired,hbase zkcli 连不上任何节点。

  • HBASE_MANAGES_ZK=true 仅适用于单机伪分布式(如开发测试)
  • 生产环境或 ≥3 节点集群,ZooKeeper 必须独立部署、单独启停、跨节点互通
  • HBase 2.5+ 已移除对 ZooKeeper 3.4 以下版本的支持,zookeeper-3.8.2 是当前最稳选择

hbase-site.xml 里这 5 个配置项不能错

少配、配错任意一项,HMaster 启不起来,或者 RegionServer 启动后立刻退出。重点盯住下面这些值:

Linux installer
Linux installer

先解析安全源,运行本地CLI安装、启动、卸载Linux桌面应用。用户请求时使用。

下载
  • hbase.rootdir:必须是 HDFS 完整 URI,比如 hdfs://master:9000/hbase(不是 file:///,也不是 hdfs://localhost)
  • hbase.cluster.distributed:必须为 true(字符串,不是布尔值)
  • hbase.zookeeper.quorum:填主机名列表,如 node1,node2,node3,不能带端口,且主机名必须和 /etc/hosts 里完全一致
  • hbase.zookeeper.property.clientPort:ZooKeeper 客户端端口,默认 2181,所有节点保持一致
  • hbase.tmp.dir:本地路径,确保所有节点该目录存在、可读写、不跨文件系统(避免 NFS)

regionservers 文件和免密登录是启动前提

start-hbase.sh 脚本本质是用 ssh 在各节点拉起 RegionServer 进程。如果这步失败,你看到的只会是 starting regionserver, logging to ... 然后静默退出。

  • $HBASE_HOME/conf/regionservers 里只写主机名(如 node1),不写 IP、不加端口、不加 # 注释
  • 从 HMaster 节点执行 ssh node1 date 必须秒回,否则先配好免密登录(ssh-copy-id)
  • 检查每台 RegionServer 节点是否已同步 $HBASE_HOME 和 $HADOOP_HOME 环境变量,source /etc/profile 后再试
  • 别忽略 SELinux 和防火墙:firewall-cmd --permanent --add-port=16030/tcp(RegionServer UI)、16010(Master UI)、2181(ZK)

启动顺序和验证要点

顺序错了,Master 会反复 abort,日志里刷屏 Failed to become active master。

  • 先启 ZooKeeper 集群:zkServer.sh start 每台都跑一遍,用 echo stat | nc node1 2181 确认 Quorum 成员数 ≥3
  • 再启 HDFS:start-dfs.sh,确认 hdfs dfsadmin -report 显示全部 DataNode 在线
  • 最后启 HBase:start-hbase.sh(只在 Master 节点运行),等 30 秒再查日志
  • 验证看三处:http://master:16010(Master UI 中 Region Servers 列表非空)、hbase shell 里执行 status 返回 1 active master, 3 backup masters, 3 live servers、hdfs dfs -ls /hbase 有数据目录

最容易被跳过的其实是时间同步 —— 所有节点差超 30 秒,ZooKeeper session 就会频繁断连,zookeeper.session.timeout 设再大也救不回来。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1953

5

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.07

2794

5

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

3850

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3313

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2453

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

5910

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

5542

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3273

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

2765

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习