企业级Kubernetes高可用集群安装的最佳实践

陌静同学_6289

陌静同学_6289

2026-09-04

816人浏览

原创

用kubeadm搭建3节点堆叠etcd控制平面+云厂商四层CLB是最稳妥生产方案;3节点满足Raft奇数容错要求,避免脑裂;需--upload-certs、内网地址注册etcd、CLB禁SSL卸载、VIP直连、时间同步、SSD挂载etcd目录。

企业级kubernetes高可用集群安装的最佳实践

直接说结论:用 kubeadm 搭建 3 节点堆叠 etcd 的控制平面 + 云厂商四层 CLB(如腾讯云 CLB、阿里云 SLB),是当前生产环境最稳妥、可快速验证、运维成本可控的方案。别碰二进制部署,除非你团队有专职 infra 工程师且已踩透所有 TLS 和证书轮换细节。

为什么必须用 3 个控制平面节点,而不是 2 或 4

etcd 集群依赖 Raft 选举,奇数节点才能避免脑裂。2 节点时任意一节点宕机,剩余节点无法达成多数派(quorum = 2),整个集群不可写;4 节点容错仍是 1(需 ≥3 节点在线),但多出 1 个节点纯属冗余,还增加网络开销和证书管理复杂度。

  • kubeadm init 初始化第一个 master 时,必须带 --upload-certs 参数,否则后续 kubeadm join --control-plane 会因缺少证书而失败
  • 所有控制平面节点的 /etc/hosts 必须互相解析主机名(如 k8s-master-1 → 10.0.1.10),kubeadm 内部组件通信(如 apiserver 连 etcd)依赖主机名,不走 VIP
  • etcd 成员加入必须通过内网地址注册(如 https://10.0.1.10:2380),不能用 CLB VIP,否则 etcd peer 通信会超时

CLB 配置的关键参数不是“转发”,而是健康检查

云厂商 CLB 默认 TCP 端口探测(仅连通性)不足以识别 apiserver 实际状态。Kubernetes 的 /healthz 是 HTTP 接口,但 CLB 四层模式不支持 HTTP 探针——所以必须用 TCP+端口探测,并确保 apiserver 进程存活即代表可用。实测中,部分 CLB(如早期腾讯云 CLB)对 6443 端口的 FIN 包响应不稳定,建议在后端服务器上加一层轻量级 TCP 健康代理(如 nc -zv localhost 6443 脚本 + systemd timer),或直接启用 CLB 的“TCP SYN 监听”增强模式。

Kubernetes RBAC Audit
Kubernetes RBAC Audit

审计 Kubernetes 集群 RBAC 配置,识别过度宽松的角色、通配符权限、危险的 ClusterRoleBinding 及服务账号滥用

下载
  • CLB 后端权重必须设为相同值(如全为 100),kubeadm 不做客户端连接亲和,轮询即可
  • CLB 监听端口必须为 6443,协议为 TCP,**禁止开启 SSL 卸载**——apiserver 与 kubelet、kubectl 的通信全程需要 mTLS
  • CLB 安全组必须放行源 IP 到后端节点的 6443 端口,且后端节点本地防火墙(如 iptables)也要显式允许该端口入向流量

kubeadm init 的 endpoint 必须指向 CLB VIP,但不能是域名

命令里写的 --control-plane-endpoint "10.0.1.100:6443"(VIP)会被写死进所有生成的 kubeconfig 和静态 Pod 清单。如果填域名(如 api.cluster.local),后续节点扩容或 DNS 故障时,apiserver 启动会卡在证书 SAN 校验失败——因为证书是用 VIP 签发的,不是域名。

  • 初始化前务必确认所有节点时间同步(chrony 或 systemd-timesyncd),误差 >1 秒会导致 TLS 握手失败,错误信息为 x509: certificate has expired or is not yet valid
  • kubeadm init 输出的 join 命令含 --certificate-key,该 key 2 小时过期,必须在时效内执行完其余 master 节点加入,否则要重新 kubeadm init --upload-certs
  • 工作节点 join 时**不能加 --control-plane 参数**,否则会尝试启动 etcd 和 controller-manager,导致端口冲突和资源争抢

最容易被忽略的是 etcd 数据目录权限和磁盘 IO:所有控制平面节点的 /var/lib/etcd 必须挂载在 SSD 上,且属主为 etcd:etcd(非 root)。曾有案例因误用机械盘 + 默认 IOPS,etcd 写入延迟飙升至 2s 以上,触发 apiserver 的 context deadline exceeded 错误,整个集群 API 响应停滞。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务

Golang云原生微服务Kubernetes (K8s) 是指 使用 Go 语言(Golang)编写的云原生微服务,并利用 Kubernetes 平台进行容器化部署、自动化管理、弹性伸缩和高效编排的一整套现代应用架构方案。

2025.12.22

116

5

Go云原生应用与Kubernetes服务部署实战
Go云原生应用与Kubernetes服务部署实战

本专题围绕 Go 语言在云原生环境中的应用展开,讲解容器化部署、Kubernetes 编排、服务发现、健康检查与弹性扩缩容机制。通过真实云端案例,帮助开发者构建可扩展的云原生微服务架构。

2026.06.29

228

19

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

0

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

180

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kubernetes官方教程手册
Kubernetes官方教程手册

共0课时 | 0人学习

Kubernetes官方中文文档
Kubernetes官方中文文档

共0课时 | 0人学习