Kubernetes部署Flink实时计算集群步骤

大晨同学_5715

大晨同学_5715

2026-09-11

548人浏览

原创

必须先安装cert-manager(v1.12.0+),因其为flink operator admission webhook提供tls证书,否则operator将因certificatesigned错误卡在crashloopbackoff,webhook无法启动导致crd创建失败。

kubernetes部署flink实时计算集群步骤

直接上生产环境能跑通的部署路径:用 Flink Kubernetes Operator 而不是手写一堆 Deployment + Service + ConfigMap,否则后续升级、Savepoint 管理、故障恢复全得自己撸脚本。

为什么必须先装 cert-manager 才能部署 Operator

Flink Kubernetes Operator 默认启用 Admission Webhook,它依赖 TLS 证书做资源校验(比如拒绝非法镜像、超限内存配置)。没 cert-manager,Operator Pod 会卡在 CrashLoopBackOff,日志里反复报 CertificateSigned 错误。

  • 必须先装 cert-manager(v1.12.0+),命令是:kubectl apply -f https://github.com/jetstack/cert-manager/releases/download/v1.12.0/cert-manager.yaml
  • 等 cert-manager 的 Pod 全部 Running 后,再装 Operator;否则 Webhook 服务起不来,CRD 创建会失败
  • 验证方式:kubectl get validatingwebhookconfigurations,mutatingwebhookconfigurations —— 应该能看到两个非空列表

FlinkDeployment CRD 中 taskmanager.replicas 不生效的常见原因

写好 FlinkDeployment YAML 提交后,TaskManager Pod 数量始终是 1,不是你设的 3 或 5。这不是配置写错,而是资源配额或调度器拦截了。

Kubernetes Network Policy Generator
Kubernetes Network Policy Generator

使用加权评分卡在12项标准上评估和比较隐私解决方案供应商。适用于选择隐私管理软件、比较数据保护方案等场景。

下载
  • 检查命名空间是否绑定了 ResourceQuota:kubectl get resourcequota -n <your-ns></your-ns>,如果 limits.memory 或 requests.cpu 已耗尽,新 Pod 会卡在 Pending
  • 确认 nodeSelector / taints 是否匹配:Operator 默认不加任何调度约束,但如果你集群节点打了 flink: true 污点,而 FlinkDeployment 没配对应 tolerations,TM 就调度不出去
  • taskmanager.replicas 是 Operator 控制的终态,但实际 Pod 数受 taskmanager.memory.process.size 和节点可用资源共同限制;比如设了 4Gi 内存但节点只剩 2Gi,最多起 1 个

JobManager Service 暴露端口后连不上 REST API

Service 类型设成 ClusterIP,本地 curl http://<svc-name>:8081</svc-name> 返回 Connection refused,或者超时。

  • 先确认 JobManager Pod 是否 Ready:kubectl get pods -l app=flink-jobmanager,状态不是 Running 或 Ready 为 0/1,说明启动失败
  • 查日志:kubectl logs -l app=flink-jobmanager --tail=50,高频错误是 Could not resolve address for jobmanager.rpc.address —— 这是因为 flink-conf.yaml 里写了具体 host(如 jobmanager.rpc.address: flink-jobmanager),但 Operator 生成的 ConfigMap 没覆盖这个值,得在 FlinkDeployment.spec.flintConfiguration 里显式指定
  • Service 的 targetPort 必须和 JobManager 容器的 rest.port 一致,默认是 8081,但如果改过 rest.port: 9091,Service 就得同步改,否则流量进不去

Session 集群下提交作业后 JobManager 突然重启

用 flink run -m <service-url> ...</service-url> 提交完作业,几秒后 JM Pod 重建,作业丢失。这不是 Operator Bug,而是配置冲突。

  • Operator 默认开启高可用(HA),但没配 high-availability.storageDir —— 它会 fallback 到本地磁盘,而 Pod 重启后目录清空,JM 无法从 checkpoint 恢复,只能崩溃重启
  • 必须配持久化存储:high-availability: filesystem + high-availability.storageDir: hdfs:///flink/ha(或 S3/OSS 路径),且确保该路径可读写
  • 若用本地 PV,注意 PersistentVolume 的 accessModes 必须含 ReadWriteMany,否则多个 JM 副本无法共享 HA 目录

Operator 不是“设完参数就完事”的黑盒,它的每个字段都对应 Kubernetes 原语的真实约束。最常被跳过的一步是验证 Webhook 状态和 HA 存储路径可写性——这两处出问题,集群看起来起了,但一跑作业就断。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务

Golang云原生微服务Kubernetes (K8s) 是指 使用 Go 语言(Golang)编写的云原生微服务,并利用 Kubernetes 平台进行容器化部署、自动化管理、弹性伸缩和高效编排的一整套现代应用架构方案。

2025.12.22

116

5

Go云原生应用与Kubernetes服务部署实战
Go云原生应用与Kubernetes服务部署实战

本专题围绕 Go 语言在云原生环境中的应用展开,讲解容器化部署、Kubernetes 编排、服务发现、健康检查与弹性扩缩容机制。通过真实云端案例,帮助开发者构建可扩展的云原生微服务架构。

2026.06.29

188

19

Python uv使用教程
Python uv使用教程

本专题汇总了 Python uv 使用教程与高效使用指南,从 uv 安装配置、常用命令到虚拟环境、依赖管理与项目打包,系统讲解如何用 uv 替代 pip 与 poetry,全面提升 Python 项目开发效率,助你快速上手这一现代化包管理工具,打造干净高效的 Python 工作流。

2026.10.15

0

15

剧云AI短剧创作教程合集
剧云AI短剧创作教程合集

本专题聚焦剧云AI短剧创作,讲解从短剧灵感、梗概、全局大纲到分集、分场和正文的完整流程及节奏设计方法。

2026.10.14

0

15

剧云AI剧本创作零基础入门
剧云AI剧本创作零基础入门

本专题系统讲解剧云AI剧本创作流程,涵盖灵感、梗概、大纲、分场与正文生成,帮助新手快速完成首个中文剧本项目。

2026.10.14

0

14

VibeKnow文档转视频操作指南
VibeKnow文档转视频操作指南

本专题讲解VibeKnow上传Word、TXT、Markdown等材料生成视频的方法,覆盖内容解析、脚本组织、画面生成与成片检查。

2026.10.14

0

15

VibeKnow知识视频制作与导出详解
VibeKnow知识视频制作与导出详解

本专题整理VibeKnow从注册、素材上传、AI生成到预览导出的完整操作,帮助新手快速制作第一条知识讲解视频。

2026.10.14

0

13

二狗PPT大纲编辑实操指南
二狗PPT大纲编辑实操指南

本专题聚焦二狗PPT结构化大纲的生成和修改,讲解标题、正文、目录、页数与页面顺序的调整方法,提升汇报逻辑和内容完整性。

2026.10.14

0

15

二狗PPT文档转PPT全教程
二狗PPT文档转PPT全教程

本专题讲解二狗PPT解析Word、PDF、Excel和PPT资料的方法,涵盖文件上传、内容提取、大纲整理、异常处理与转换后校对。

2026.10.14

0

13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kubernetes官方教程手册
Kubernetes官方教程手册

共0课时 | 0人学习

Kubernetes官方中文文档
Kubernetes官方中文文档

共0课时 | 0人学习