Linux怎么安装Kafka分布式流平台

秋辰小哥_6836

秋辰小哥_6836

2026-06-13

265人浏览

原创

Kafka在Linux上需严格匹配版本与部署模式:3.3.0+默认KRaft(无ZooKeeper),低于该版本硬配KRaft会启动失败;KRaft模式必须执行kafka-storage.sh生成UUID、format格式化存储目录,并确保listeners与advertised.listeners配置一致且路径正确。

linux怎么安装kafka分布式流平台

Kafka 在 Linux 上不是“装完就能用”的通用软件,关键得看版本和部署模式——3.3.0+ 默认走 KRaft(无 ZooKeeper),老版本或生产混用环境仍强依赖 ZooKeeper;选错模式,kafka-server-start.sh 会直接报 NoClassDefFoundError: org/apache/zookeeper/ZooKeeper 或卡在连接 zookeeper.connect。

确认 Kafka 版本与部署模式是否匹配

先查清你手里的包是不是 3.3.0 及以上:

  • 解压后看目录名,比如 kafka_2.12-3.9.1 —— 后缀数字 3.9.1 就是 Kafka 版本
  • 或进 bin/ 目录运行:./kafka-topics.sh --version,输出应为类似 3.9.1
  • 低于 3.3.0 的版本硬配 KRaft 模式(删 zookeeper.connect、改 server.properties)会启动失败,没商量

用 KRaft 模式(推荐新部署)必须走全这三步

KRaft 不需要 ZooKeeper,但替代机制更严格:kafka-storage.sh 必须完整执行,否则 meta.properties 缺失,broker 拒绝启动。

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载
  • 生成集群 ID:./kafka-storage.sh random-uuid —— 别手写字符串,必须用命令输出结果
  • 格式化存储目录:./kafka-storage.sh format -t I_p69ZTITRmhtpbLW-uGfA -c config/kraft/server.properties,注意 -t 是 cluster ID,-c 后必须是配置文件**绝对路径**
  • 检查 log.dirs 目录权限:chown -R $USER:$USER /opt/kafka_2.12-3.9.1/data/kafka,否则 format 静默失败,meta.properties 根本不生成

listeners 和 advertised.listeners 不一致的典型症状

本地测试设成 PLAINTEXT://localhost:9092 没问题,但一上云服务器或 Docker,消费者连不上、超时、报 Connection refused,八成是这两个参数没对齐。

  • listeners 是 broker 实际监听地址,可设为 PLAINTEXT://0.0.0.0:9092(允许所有网卡接入)
  • advertised.listeners 是告诉客户端“你该连谁”,必须填外部可访问的 IP 或域名,比如 PLAINTEXT://192.168.1.100:9092 或 PLAINTEXT://kafka.example.com:9092
  • 只配 listeners 没配 advertised.listeners,Kafka 启动不报错,但客户端连不上,日志里也看不出明显异常

最易被忽略的是:KRaft 模式下,config/kraft/server.properties 和 config/server.properties 是两套完全独立的配置体系,启动脚本必须明确指向对应路径;混用或路径写错,错误信息往往藏在日志深处,而不是控制台第一行。

相关文章

Kafka Eagle可视化工具
Kafka Eagle可视化工具

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等,有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2113

5

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.07

3394

5

kafka消费者组有什么作用
kafka消费者组有什么作用

kafka消费者组的作用:1、负载均衡;2、容错性;3、广播模式;4、灵活性;5、自动故障转移和领导者选举;6、动态扩展性;7、顺序保证;8、数据压缩;9、事务性支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.01.12

3046

5

kafka消费组的作用是什么
kafka消费组的作用是什么

kafka消费组的作用:1、负载均衡;2、容错性;3、灵活性;4、高可用性;5、扩展性;6、顺序保证;7、数据压缩;8、事务性支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

670

5

rabbitmq和kafka有什么区别
rabbitmq和kafka有什么区别

rabbitmq和kafka的区别:1、语言与平台;2、消息传递模型;3、可靠性;4、性能与吞吐量;5、集群与负载均衡;6、消费模型;7、用途与场景;8、社区与生态系统;9、监控与管理;10、其他特性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

644

5

Java 流式处理与 Apache Kafka 实战
Java 流式处理与 Apache Kafka 实战

本专题专注讲解 Java 在流式数据处理与消息队列系统中的应用,系统讲解 Apache Kafka 的基础概念、生产者与消费者模型、Kafka Streams 与 KSQL 流式处理框架、实时数据分析与监控,结合实际业务场景,帮助开发者构建 高吞吐量、低延迟的实时数据流管道,实现高效的数据流转与处理。

2026.02.04

710

32

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4330

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3633

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2893

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习