Linux下怎么部署Apache Flink集群

星降

星降

2026-07-02

562人浏览

原创

必须使用jdk 8或11,因flink 1.17.x等lts版本不兼容jdk 17,否则会报noclassdeffounderror;验证命令java -version输出应为1.8.0_xxx或11.0.x,ubuntu用sudo apt install openjdk-11-jdk,centos用sudo yum install java-1.8.0-openjdk-devel,并配置java_home。

linux下怎么部署apache flink集群

直接上手部署 Flink 集群前,必须确认 JDK 版本是 JDK 8JDK 11 ——用更高版本(比如 JDK 17)会报 NoClassDefFoundError 或启动后立即退出,这不是配置问题,是字节码不兼容。

检查并安装 JDK 8/11

很多用户卡在第一步:Flink 进程看似启动了,ps aux | grep flink 能看到进程,但 Web UI 打不开、日志里反复出现 Failed to initialize cluster entry point。根本原因往往是 Java 版本错。

执行以下命令验证:

java -version 2>&1 | grep "version" | awk '{print $3}' | tr -d '"'

输出应为 1.8.0_XXX11.0.X。如果不是:

  • Ubuntu/Debian:sudo apt install openjdk-8-jdksudo apt install openjdk-11-jdk,然后用 sudo update-alternatives --config java 切换默认版本
  • CentOS/RHEL:sudo yum install java-1.8.0-openjdk-devel,注意必须带 -devel,否则缺 tools.jar,Flink 启动时会找不到类
  • 装完务必运行 export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java)))) 并写入 ~/.bashrc,否则 start-cluster.sh 可能 fallback 到系统自带的旧 Java

下载与解压 Flink 二进制包

别用官网首页跳转的“最新版”链接——它常指向非 LTS 版本(如 1.19.x),而生产环境强烈建议用长期支持版。当前最稳的是 flink-1.17.2-bin-scala_2.12.tgz

直接在目标机器上下载解压:

wget https://archive.apache.org/dist/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz
tar -xzf flink-1.17.2-bin-scala_2.12.tgz -C /opt/
ln -s /opt/flink-1.17.2 /opt/flink

关键点:

  • 路径中不要含空格或中文,/opt/flink 是安全选择;含空格会导致 start-cluster.sh 解析 conf/slaves 失败
  • Scala 版本选 _2.12,不是 _2.11_2.13——后者在 Flink 1.17 中未被完全验证,可能引发 scala.MatchError
  • 不用手动配 FLINK_HOME 环境变量,bin/ 下脚本靠相对路径工作;加了反而可能干扰多版本共存场景

修改 flink-conf.yaml 和 workers 文件

真正让集群跑起来的不是“启动脚本”,而是三处配置是否对齐:JobManager 地址、TaskManager 列表、主机名解析。常见错误是 Web UI 打开但作业提交失败,日志报 Could not connect to rpc endpoint

宝塔Linux面板11.8.1
宝塔Linux面板11.8.1

宝塔Linux面板11.8.1为官网当前正式版,新增AI建站能力并经过宝塔网站工程师深度调教,开放自定义AI功能API,同时对WAF进行界面重构和深度优化,提升拦截能力与运维效率。

下载

进入 /opt/flink/conf 目录,编辑:

flink-conf.yaml 必改项:

jobmanager.rpc.address: mitchell-101
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1600m
taskmanager.numberOfTaskSlots: 2

workers(新版叫 slaves,但 start-cluster.sh 仍优先读 workers):

mitchell-101
mitchell-102
mitchell-103

注意:

  • jobmanager.rpc.address 必须填主机名(如 mitchell-101),不能填 IP;否则 TaskManager 启动后注册不到 JobManager
  • 所有节点的 /etc/hosts 必须一致,确保每个节点都能 ping mitchell-101 通;用 ssh mitchell-101 测试免密登录,不通就卡在启动环节
  • taskmanager.numberOfTaskSlots 建议设为 CPU 核数的一半,设太高会导致 GC 压力大、心跳超时;设 1 是最安全的调试值

启动集群并验证连通性

执行 /opt/flink/bin/start-cluster.sh 后,别急着打开 http://mitchell-101:8081 ——先看输出是否含 Starting cluster.Starting standalonesession daemon on host mitchell-101.。如果只显示一行就结束,说明配置有硬伤。

验证步骤:

  • 在 JobManager 节点执行:netstat -tuln | grep :8081,确认端口监听中;若无,检查 flink-conf.yaml 是否误加了空格导致 YAML 解析失败
  • 在任一 TaskManager 节点执行:ps aux | grep TaskManagerRunner,应看到 Java 进程;没有说明 workers 文件没被读到,或 SSH 免密失败
  • 访问 Web UI 后,点 “Task Managers” 标签页,正常应显示全部节点;若只显示本机,说明 jobmanager.rpc.address 填的是 localhost 或 IP,而非可被其他节点解析的主机名

最容易被忽略的是:所有节点的系统时间必须同步。哪怕差 3 秒,Flink 内部的心跳机制就会判定 TaskManager “失联”,Web UI 上状态反复变灰。用 timedatectl status 检查,确保显示 System clock synchronized: yes

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux apache

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

2672

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

1649

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

1297

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

2674

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

2421

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

1660

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

1254

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

1423

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

210

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpMyAdmin 安装文档
phpMyAdmin 安装文档

共0课时 | 0人学习

Apifox下载与安装手册
Apifox下载与安装手册

共0课时 | 0人学习

安装 Xdebug 并配置 phpstorm
安装 Xdebug 并配置 phpstorm

共1课时 | 126人学习