部署生产级kubernetes集群需严格遵循七步流程:一、环境预检与加固;二、安装containerd运行时;三、统一版本部署kubeadm/kubelet/kubectl;四、通过kubeadm+external etcd构建高可用控制平面;五、部署双栈calico网络插件;六、定期证书续期与kubeconfig分发;七、可选集成kubesphere增强平台。

如果您计划在Linux系统上部署一个生产就绪的Kubernetes集群,则必须满足严格的环境前提并选择可复现的部署路径。以下是针对多节点、高可用场景的高级部署方案:
一、环境预检与系统加固
该步骤确保所有节点具备运行Kubernetes的底层能力,避免因内核参数、资源限制或唯一性冲突导致后续init或join失败。任何一项缺失都可能引发kubeadm预检报错或kubelet无法注册。
1、验证内核版本不低于4.18:执行uname -r,若低于则需升级内核并重启。
2、确认各节点MAC地址与product_uuid唯一:分别运行ip link show和sudo cat /sys/class/dmi/id/product_uuid,发现重复值须通过虚拟机设置或BIOS重置修正。
3、关闭swap并持久化:执行sudo swapoff -a,并注释/etc/fstab中含swap的行。
4、配置cgroup驱动为systemd:修改/etc/docker/daemon.json添加{"exec-opts": ["native.cgroupdriver=systemd"]},重启docker;同时确认/var/lib/kubelet/config.yaml中cgroupDriver: systemd已生效。
5、加载必需内核模块并启用桥接流量:执行sudo modprobe br_netfilter与sudo sysctl net.bridge.bridge-nf-call-iptables=1,并将该配置写入/etc/sysctl.d/k8s.conf。
二、容器运行时安装(containerd)
自kubeadm v1.24起,Docker不再被直接支持,必须显式配置符合CRI标准的运行时。containerd因其轻量、稳定及与systemd深度集成的特性成为首选。
1、在Ubuntu节点安装containerd:sudo apt-get install -y containerd;在RHEL系执行sudo yum install -y containerd。
2、生成默认配置:sudo containerd config default | sudo tee /etc/containerd/config.toml。
3、编辑/etc/containerd/config.toml,将SystemdCgroup = false改为SystemdCgroup = true。
4、重启服务:sudo systemctl restart containerd && sudo systemctl enable containerd。
三、kubeadm/kubelet/kubectl三件套部署
三个组件必须使用**完全一致的小版本号**(如v1.28.12),版本错位将导致control plane不可用或节点拒绝加入。此为集群稳定性的核心约束条件。
1、添加Kubernetes官方APT源(Ubuntu):curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /usr/share/keyrings/kubernetes-archive-keyring.gpg,并写入/etc/apt/sources.list.d/kubernetes.list包含deb [arch=amd64 signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main。
2、更新并安装指定版本:sudo apt-get update && sudo apt-get install -y kubelet=1.28.12-00 kubeadm=1.28.12-00 kubectl=1.28.12-00。
3、锁定版本防止自动升级:sudo apt-mark hold kubelet kubeadm kubectl。
四、高可用控制平面部署(kubeadm + external etcd)
该方案将etcd独立于control plane节点部署,避免单点故障,适用于对SLA有严格要求的场景。需至少3台专用etcd节点或与control plane共存但逻辑隔离。
1、在首台control plane节点生成初始化配置文件:kubeadm config print init-defaults > kubeadm-config.yaml。
2、编辑kubeadm-config.yaml,设置controlPlaneEndpoint为负载均衡器VIP(如lb.k8s.local:6443),并在etcd节中指定external endpoints列表(如- https://192.168.80.201:2379等)。
3、执行初始化:kubeadm init --config kubeadm-config.yaml --upload-certs。
4、在其余control plane节点执行join命令(含--control-plane和--certificate-key参数),该命令由init输出提供。
五、网络插件部署(Calico双栈适配)
Calico支持IPv4/IPv6双协议栈及NetworkPolicy,但其IP池配置必须与kubeadm init时指定的--pod-network-cidr严格一致,否则Pod将卡在Pending状态且CNI插件报错。
1、确认init时使用的cidr值,例如--pod-network-cidr=10.233.64.0/18,fd85:1234:5678:9abc::/64。
2、下载Calico双栈清单:curl https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/calico.yaml -O。
3、编辑calico.yaml,定位IP_POOL_CIDR环境变量,将其替换为上述IPv4 CIDR;新增IPV6POOL_CIDR字段并设为对应IPv6 CIDR。
4、应用清单:kubectl apply -f calico.yaml;等待calico-node DaemonSet全部Ready。
六、证书续期与kubeconfig分发
kubeadm生成的证书默认有效期为1年,若集群运行超期未续签,kubectl将报x509: certificate has expired or is not yet valid,导致所有API操作中断。必须在到期前完成轮换。
1、检查证书剩余天数:kubeadm certs check-expiration。
2、执行全量续签:kubeadm certs renew all。
3、重启kubelet以加载新证书:sudo systemctl restart kubelet。
4、更新admin.conf并分发:sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config,再使用scp同步至其他管理节点。
七、KubeSphere平台集成(可选增强层)
KubeSphere作为Kubernetes之上的企业级分布式操作系统,提供多租户、DevOps、监控告警等能力。其安装不依赖kubeadm原生流程,需使用KubeKey工具统一编排。
1、下载KubeKey:curl -sfL https://get-kk.kubesphere.io | VERSION=v3.1.0 sh -。
2、生成集群配置:./kk create config --with-kubesphere v3.4.1 --with-kubernetes v1.28.12。
3、编辑config-sample.yaml,在hosts节填入所有节点IP、SSH凭证及角色分配,在spec中明确etcd、control-plane与worker分组。
4、执行部署:./kk create cluster -f config-sample.yaml;部署完成后访问https://<master-ip>:30880</master-ip>登录控制台。











