Linux 运维中如何清理集群中的异常节点

浅磊吖_4538

浅磊吖_4538

2026-08-31

900人浏览

原创

清理异常节点需“清得净、断得准、不残留”,分四步:一查状态与影响;二安全驱逐再删node;三本机彻底清理服务、数据、网络;四交叉验证并防复发。

linux 运维中如何清理集群中的异常节点

清理集群中的异常节点,关键不是“删得快”,而是“清得净、断得准、不残留”。异常节点往往已失联、状态不可控或配置错乱,直接删 node 对象只是表面操作,后续极易引发 Pod 残留、网络规则冲突、CNI 状态不一致等问题。

一、确认节点真实状态与影响范围

先别急着执行命令,用以下检查明确节点是否真的“不可恢复”:

  • 在控制平面节点运行 kubectl get node -o wide,观察 STATUS(如 NotReady)、AGE(是否长时间未更新)、VERSION(是否版本严重偏离)
  • 查该节点上运行过的关键组件:执行 ssh 'systemctl is-active kubelet docker containerd',确认服务是否已崩溃或被手动停用
  • 检查 API 中残留的资源绑定:运行 kubectl get pods -A -o wide | grep 和 kubectl get csinodes | grep ,看是否有未清理的绑定对象

二、安全驱逐并移除节点对象

即使节点已离线,也要走标准驱逐流程,避免调度器误判或控制器反复重试:

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载
  • 执行 kubectl drain --ignore-daemonsets --delete-emptydir-data --force(--force 允许驱逐没有控制器管理的 Pod)
  • 等待输出显示 node/<node-name> drained</node-name> 后,再执行 kubectl delete node
  • 验证移除结果:运行 kubectl get node 确认列表中不再出现该节点;同时检查 kubectl get csinodes 和 kubectl get volumesnapshotclasses(如有 CSI 部署)是否自动清理对应条目

三、彻底清理异常节点本机残留

这一步必须在异常节点本机执行(若仍可登录),否则下次重装会复现端口占用、证书冲突、CNI 网桥残留等问题:

  • 停止所有相关服务:sudo systemctl stop kubelet docker containerd crio(按实际使用的运行时选)
  • 删除核心数据目录:sudo rm -rf /etc/kubernetes/ /var/lib/kubelet/ /var/lib/etcd/ /var/lib/cni/ /var/lib/containerd/
  • 清理网络规则:sudo iptables -F && sudo iptables -t nat -F && sudo iptables -t mangle -F && sudo iptables -X
  • 删除虚拟网卡与路由:sudo ip link delete cni0 2>/dev/null; sudo ip link delete flannel.1 2>/dev/null; sudo ip route flush table local

四、收尾验证与防复发

清理完成后,需交叉验证防止“假清理”:

  • 在控制平面节点运行 kubectl get pods -A --field-selector spec.nodeName=,应返回空结果
  • 检查 etcd 中是否残留节点信息(需 etcdctl 访问权限):etcdctl get /registry/minions/ --prefix --keys-only 2>/dev/null | grep ,若有输出需手动删除
  • 若使用 Calico/Flannel/Cilium,进入对应组件的命名空间,检查 FelixConfiguration、Node 自定义资源是否已同步消失
  • 建议将上述清理步骤写成脚本,并加入集群巡检清单,避免人工遗漏

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务

Golang云原生微服务Kubernetes (K8s) 是指 使用 Go 语言(Golang)编写的云原生微服务,并利用 Kubernetes 平台进行容器化部署、自动化管理、弹性伸缩和高效编排的一整套现代应用架构方案。

2025.12.22

116

5

Go云原生应用与Kubernetes服务部署实战
Go云原生应用与Kubernetes服务部署实战

本专题围绕 Go 语言在云原生环境中的应用展开,讲解容器化部署、Kubernetes 编排、服务发现、健康检查与弹性扩缩容机制。通过真实云端案例,帮助开发者构建可扩展的云原生微服务架构。

2026.06.29

208

19

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4210

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3573

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2793

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6870

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

6502

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3733

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3245

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习