kubelet因nodefs空间不足触发Node-pressure Eviction，将Pod设为Evicted并移除；需通过kubectl describe node检查Events中“nodefs.available
当Kubernetes节点系统盘（nodefs）空间耗尽，kubelet会触发Node-pressure Eviction机制，将Pod状态设为Evicted并从该节点移除——这不是应用崩溃，而是节点主动“清退”以保集群稳定；若只查Pod日志或重启容器，问题会在几小时内重现。
确认驱逐是否由nodefs空间不足引发
执行
kubectl describe node，在Events区块中查找含 “The node was low on resource: nodefs” 或 “nodefs.available 的事件行。若存在，说明是nodefs而非imagefs或内存导致的驱逐。紧接着运行
kubectl get node，比对-o wide STATUS是否为 Ready 且ROLES包含worker或—— 若节点仍为Ready但Pod被驱逐，基本排除NotReady类故障，聚焦本地磁盘。⚠️ 注意：
df -h /显示还有10%空间，不代表安全；kubelet判断依据是nodefs.available指标，它统计的是 /var/lib/kubelet、/var/log、/var/lib/docker/overlay2 等子路径实际可用空间，不是根目录整体剩余。登录节点定位真实占用大户
用SSH登录对应节点，执行：
sudo du -sh /var/* 2>/dev/null | sort -hr | head -10，快速列出/var下前十大目录体积。重点盯紧以下三处：
- /var/log/journal：systemd-journald日志默认不轮转，单节点积压数月可达20+GiB；
- /var/lib/kubelet/pods：已终止但未清理的Pod数据（如emptyDir残留、volume挂载点未卸载）；
- /var/log/containers 和 /var/log/pods：容器stdout/stderr软链接指向的实际日志文件，尤其当应用未配置logrotate时。若发现
/var/log/journal占用超8GiB，立即执行：sudo journalctl --disk-usage查看归档总量，再运行sudo journalctl --vacuum-size=500M释放空间——这步操作很快，但必须加 sudo，否则权限不足无效果。区分ephemeral-storage与nodefs，避免误判
第一步：检查Pod YAML中是否声明了
ephemeral-storagerequests/limits。若未声明，kubelet会将容器所有写入（包括/tmp、/app/data）都计入nodefs压力，哪怕Pod本身限制了2GiB内存，其临时文件仍可能撑爆/var分区。第二步：进入任一被驱逐Pod的容器命名空间（需节点有nsenter），执行：
nsenter -t $(pgrep -f "pause") -m -u -i -n -p df -h /。观察输出中Use%列是否接近100%——这是容器视角的nodefs使用率，若该值高而宿主机df -h /仅70%，说明是某个Pod在疯狂写入临时文件，而非全局日志膨胀。第三步：对比
kubectl describe pod中的Events和Containers部分。若事件里出现 “Container xxx was using XXXKi, which exceeds its request of 0”，且容器资源限制字段为空，则证实是ephemeral-storage未设限导致的nodefs挤占，此时修复动作必须落在Pod模板上，不能只清宿主机日志。永久性清理与阈值加固
方法一：清理journal日志并锁定上限
① 运行sudo mkdir -p /etc/systemd/journald.conf.d
② 创建/etc/systemd/journald.conf.d/limit.conf，写入：
SystemMaxUse=500M
MaxRetentionSec=2week
③ 执行sudo systemctl restart systemd-journald生效——此后journal日志不会超过500MB且自动清理超2周记录。方法二：调整kubelet nodefs驱逐阈值
编辑/var/lib/kubelet/config.yaml，添加或修改：
evictionHard:
nodefs.available: "5%"
然后重启kubelet：sudo systemctl restart kubelet。此举将触发驱逐的底线从默认15%降至5%，为运维留出更宽裕的响应窗口。方法三：启用kubelet自动清理终止Pod残留
确保/var/lib/kubelet/config.yaml中包含：
evictionMinimumReclaim:
nodefs.available: "1Gi"
这表示每次GC至少回收1GiB空间，避免“删一点、涨一点”的无效循环。
K8s怎么排查节点系统盘空间满导致的Evicted驱逐事件
落辰同学_3972
2026-10-28
816人浏览
原创
