银河麒麟系统安装Kafka环境 麒麟OS分布式消息中间件配置

大杰吖_4207

大杰吖_4207

2026-05-19

816人浏览

原创

银河麒麟上kafka启动异常需依次排查:一、安装适配arm的毕昇jdk 17并配置环境变量;二、启用kraft模式,正确设置process.roles、node.id、controller.quorum.voters等参数并初始化元数据;三、在/etc/hosts中精确映射各节点ip与主机名,确保grpc通信;四、创建kafka用户并赋权,避免权限问题;五、以kafka用户启动服务,验证9092/9093端口监听及controller状态。

银河麒麟系统安装kafka环境 麒麟os分布式消息中间件配置

如果您在银河麒麟操作系统上部署Kafka作为分布式消息中间件,但服务无法正常启动或节点间通信异常,则可能是由于JDK版本不兼容、Kraft模式配置缺失或网络主机名解析失败所致。以下是解决此问题的步骤:

一、验证并安装适配ARM架构的JDK

银河麒麟V10运行于鲲鹏或飞腾等ARM平台,必须使用aarch64架构的JDK,x86版本JDK将导致Kafka进程启动失败或JVM崩溃。毕昇JDK 17是官方推荐且经信创认证的运行时环境。

1、卸载系统预装的非ARM JDK(如存在):
sudo yum -y remove java-1.8.0-* java-11.*

2、下载毕昇JDK 17 ARM版压缩包:
wget https://mirrors.huaweicloud.com/kunpeng/archive/compiler/bisheng_jdk/bisheng-jdk-17.0.8-linux-aarch64.tar.gz

3、解压并建立软链接:
sudo mkdir -p /opt/soft/java
sudo tar -zxf bisheng-jdk-17.0.8-linux-aarch64.tar.gz -C /opt/soft/java
sudo ln -snf /opt/soft/java/bisheng-jdk-17.0.8 /opt/soft/java/java

4、配置全局环境变量:
sudo su -c 'echo "export JAVA_HOME=/opt/soft/java/java" >> /etc/profile'
sudo su -c 'echo "export PATH=\$PATH:\$JAVA_HOME/bin" >> /etc/profile'
source /etc/profile

5、验证安装:
java -version 应输出 bisheng-jdk-17.0.8,且包含 aarch64 字样

二、配置Kraft模式免ZooKeeper集群

Kafka 3.3+默认启用Kraft(Kafka Raft Metadata mode),需禁用ZooKeeper依赖并显式声明controller角色。该模式要求所有节点同时承担broker与controller职责,避免单点故障及组件耦合。

1、进入Kafka配置目录:
cd /opt/soft/kafka/config/kraft/

2、复制模板配置:
cp server.properties server.properties.bak
cp /opt/soft/kafka/config/kraft/server.properties .

3、编辑 server.properties,确保以下参数已设置:
process.roles=broker,controller
node.id=1(第二节点设为2,第三节点设为3)
controller.quorum.voters=1@node1:9093,2@node2:9093,3@node3:9093
listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093
advertised.listeners=PLAINTEXT://对应节点实际IP:9092
inter.broker.listener.name=PLAINTEXT

4、生成集群元数据日志目录:
mkdir -p /data/kafka/kraft-combined-logs
chown -R kafka:kafka /data/kafka

5、初始化元数据(仅首次在任一节点执行):
sudo -u kafka /opt/soft/kafka/bin/kafka-storage.sh format -t 唯一集群ID,如:XyZ7mQnT -c /opt/soft/kafka/config/kraft/server.properties

三、配置主机名与网络互通性

Kraft模式下各节点通过hostname进行gRPC通信,若/etc/hosts未正确映射IP与主机名,controller选举将超时失败,表现为kafka-server-start.sh卡在“Initializing controller”阶段。

1、确认当前主机名:
hostname

2、编辑 hosts 文件:
sudo vi /etc/hosts

MuseNet – OpenAI
MuseNet – OpenAI

MuseNet是 OpenAI 发布的实验性 AI 音乐生成研究项目。

下载

3、添加全部集群节点映射(以三节点为例):
192.168.65.10 node1
192.168.65.11 node2
192.168.65.12 node3

4、验证连通性:
ping -c 3 node2
telnet node2 9093(测试controller端口)

5、开放防火墙端口:
sudo firewall-cmd --permanent --add-port=9092/tcp
sudo firewall-cmd --permanent --add-port=9093/tcp
sudo firewall-cmd --reload

四、创建专用用户与权限隔离

直接使用root运行Kafka存在安全风险,且Kraft日志目录若由root创建,会导致kafka用户无写入权限,引发“Permission denied”错误。

1、新增kafka系统用户:
sudo adduser kafka

2、赋予sudo免密执行权限(可选,用于后续服务管理):
echo "kafka ALL=(ALL) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/kafka

3、变更Kafka安装目录所有权:
sudo chown -R kafka:kafka /opt/soft/kafka
sudo chown -R kafka:kafka /data/kafka

4、切换至kafka用户验证路径权限:
sudo -u kafka ls -ld /data/kafka/kraft-combined-logs

5、确认输出中包含drwxr-xr-x 2 kafka kafka,表示目录可写

五、启动Kafka服务并验证监听状态

使用kafka用户启动服务后,需确认两个关键端口(9092用于客户端通信,9093用于controller Raft协议)均处于LISTEN状态,否则生产者/消费者连接将被拒绝。

1、后台启动Kafka服务:
sudo -u kafka /opt/soft/kafka/bin/kafka-server-start.sh -daemon /opt/soft/kafka/config/kraft/server.properties

2、检查Java进程是否运行:
sudo -u kafka jps -l | grep Kafka

3、检查端口监听情况:
ss -tuln | grep ':909[23]'

4、验证controller健康状态:
sudo -u kafka /opt/soft/kafka/bin/kafka-metadata-quorum.sh --bootstrap-server localhost:9092 describe --status

5、预期返回中应包含Ready: true及当前leader node.id

相关文章

Kafka Eagle可视化工具
Kafka Eagle可视化工具

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等,有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

系统安装

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1953

5

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.07

2834

5

什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

2024.05.11

609

5

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

2025.12.18

604

18

ThinkPHP中间件机制与请求拦截处理实践
ThinkPHP中间件机制与请求拦截处理实践

本专题围绕 ThinkPHP 中间件体系展开,深入讲解中间件的定义、注册与执行流程。内容包括全局中间件与路由中间件的区别、请求前后处理逻辑、自定义中间件开发以及权限验证与日志处理应用。通过实际案例,帮助开发者掌握中间件在项目中的核心作用与最佳实践。

2026.03.31

418

17

kafka消费者组有什么作用
kafka消费者组有什么作用

kafka消费者组的作用:1、负载均衡;2、容错性;3、广播模式;4、灵活性;5、自动故障转移和领导者选举;6、动态扩展性;7、顺序保证;8、数据压缩;9、事务性支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.01.12

2506

5

kafka消费组的作用是什么
kafka消费组的作用是什么

kafka消费组的作用:1、负载均衡;2、容错性;3、灵活性;4、高可用性;5、扩展性;6、顺序保证;7、数据压缩;8、事务性支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

590

5

rabbitmq和kafka有什么区别
rabbitmq和kafka有什么区别

rabbitmq和kafka的区别:1、语言与平台;2、消息传递模型;3、可靠性;4、性能与吞吐量;5、集群与负载均衡;6、消费模型;7、用途与场景;8、社区与生态系统;9、监控与管理;10、其他特性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

564

5

Java 流式处理与 Apache Kafka 实战
Java 流式处理与 Apache Kafka 实战

本专题专注讲解 Java 在流式数据处理与消息队列系统中的应用,系统讲解 Apache Kafka 的基础概念、生产者与消费者模型、Kafka Streams 与 KSQL 流式处理框架、实时数据分析与监控,结合实际业务场景,帮助开发者构建 高吞吐量、低延迟的实时数据流管道,实现高效的数据流转与处理。

2026.02.04

610

32

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
ubuntu官方总文档
ubuntu官方总文档

共0课时 | 0人学习