宿主机磁盘满会导致Kubernetes有状态服务因Volume写入阻塞而死锁;需先用df -h/-i定位瓶颈路径,再停写入、精准清理日志与残留,最后通过sizeLimit、logrotate和网络存储等预防。
宿主机磁盘空间满时,kubernetes 中使用 volume(尤其是 emptydir、hostpath 或本地 pv)的有状态服务容易进入死锁状态——不是进程崩溃,而是持续卡在 i/o 等待、健康检查失败、pod 无法就绪或反复重启。这不是应用逻辑错误,而是底层存储不可写导致的状态僵持。解决重点是快速释放空间 + 避免 volume 持续写入加剧阻塞。
立即识别磁盘瓶颈与 Volume 关联路径
登录宿主机后,先确认是否真为磁盘空间耗尽(而非 inode 耗尽):
- 运行
df -h,重点关注/var/lib/kubelet、/var/lib/docker(或/var/lib/containers)、/var/log和挂载了 hostPath 的目录 - 运行
df -i,若某分区IUse%达 100%,即使Use%只有 70%,也会导致 Pod 启动失败(因无法创建新文件) - 定位 Volume 实际落盘位置:
– 对于emptyDir:默认在/var/lib/kubelet/pods//volumes/kubernetes.io~empty-dir/
– 对于hostPath:直接查看 YAML 中指定的路径
– 对于本地 PV:查kubectl get pv -o wide对应的HOSTPATH或PATH字段
停止 Volume 持续写入,打破死锁循环
有状态服务(如 Kafka、Elasticsearch、MySQL StatefulSet)常自带日志轮转和数据刷盘机制,磁盘满后仍尝试写入,造成内核级 write() 阻塞,进而使整个容器线程挂起。需主动干预:
- 对已卡住的 Pod,执行
kubectl exec -it查看是否卡在日志追加或 sync 调用上-- sh -c "ps aux | grep -E '(log|data|flush)'" - 临时停用写入密集型组件:
– Kafka:设置log.flush.interval.messages=Long.MAX_VALUE并重启 broker 容器(需配合 configmap 更新)
– Elasticsearch:调大indices.memory.index_buffer_size,禁用refresh_interval(设为-1)
– 自定义应用:通过 env 注入LOG_LEVEL=ERROR或关闭 debug 日志输出 - 若使用
emptyDir且 Pod 已不可恢复,可先kubectl delete pod --grace-period=0 --force强制驱逐,kubelet 会自动清理其 volume 目录(前提是 kubelet 本身未被卡死)
精准清理宿主机上 Volume 相关垃圾数据
不要盲目 rm -rf /var/lib/kubelet/pods —— 这可能误删正在运行的 Pod 数据。应按优先级清理:
-
清空滚动日志:进入对应 Pod 的
emptyDir或hostPath日志子目录,用truncate -s 0 *.log截断超大日志(比rm更安全,不破坏文件句柄) -
清理旧 containerd/dockershim 清理残留:
–crictl rmi --prune(containerd)或docker system prune -af(Docker)
– 删除/var/lib/kubelet/container_logs/下过期的.log.json文件 -
检查 volume 目录下隐藏的大文件:
find /var/lib/kubelet/pods -name "*.log" -size +100M -ls 2>/dev/null | sort -k7nr | head -5
尤其注意journal、stdout、stderr符号链接指向的真实文件 - 若使用
hostPath存储数据库数据,确认是否启用了归档日志(如 MySQL 的binlog、PostgreSQL 的wal),用对应数据库命令清理(如PURGE BINARY LOGS BEFORE '2026-05-20')
预防 Volume 引发的磁盘死锁
长期来看,不能只靠应急清理。关键配置要前置:
- 为
emptyDir设置sizeLimit(如sizeLimit: 2Gi),超出后 kubelet 自动 evict Pod - 对
hostPath类 volume,宿主机部署logrotate+systemd-tmpfiles定期压缩/删除,并监控/var/log/containers和 volume 路径 - StatefulSet 中启用
volumeClaimTemplates替代hostPath,使用支持配额的网络存储(如 Ceph RBD、NFS with quota) - 在节点层面部署
node-problem-detector+ Prometheus Alert,当node_filesystem_usage_percent> 85% 时自动告警并触发清理 Job











