K8s怎么排查CRI接口连接超时导致Kubelet挂掉

夏伟同学_5648

夏伟同学_5648

2026-10-10

907人浏览

原创

cri连接超时导致节点notready,需依次验证kubelet状态与日志、cri套接字路径及权限、containerd服务存活与配置兼容性、sandbox残留及cgroup driver一致性。

k8s怎么排查cri接口连接超时导致kubelet挂掉

当Kubelet因CRI接口连接超时而反复崩溃或无法上报节点状态,表现为节点NotReady、Pod卡在ContainerCreating、kubelet日志中高频出现“context deadline exceeded”或“failed to connect to runtime”时,必须立即定位CRI通信链路中的阻塞点。

确认kubelet是否真的因CRI超时挂掉

先验证问题现象是否匹配:执行 systemctl status kubelet,若看到 Active: inactive (dead) 或频繁 restart,再运行 journalctl -u kubelet -n 50 --no-pager | grep -i "deadline\|timeout\|connect\|cri"。如果输出中反复出现 context deadline exceeded while connecting to runtime 或 failed to dial unix:///run/containerd/containerd.sock,说明CRI连接超时是直接诱因。

注意:仅凭 kubectl get nodes 显示 NotReady 不足以断定是CRI问题——也可能是kubelet进程还在跑但心跳中断。必须看日志里有没有明确的CRI连接失败记录。

检查CRI套接字路径与实际服务是否对齐

第一步:查kubelet启动时指定的CRI endpoint:

ps aux | grep kubelet | grep -o 'container-runtime-endpoint=[^[:space:]]*'

常见返回如 container-runtime-endpoint=unix:///run/containerd/containerd.sock。这个路径必须和实际运行的容器运行时监听路径完全一致。

第二步:确认该套接字文件存在且权限可读:

ls -l /run/containerd/containerd.sock

若返回 No such file or directory,说明containerd根本没启动,或配置了其他套接字路径;若返回权限为 srw-rw---- 但属组不是 root 或 containerd,kubelet可能因权限不足被拒绝访问——【kubelet默认以root身份运行,必须确保其对.sock文件有读写权限】。

第三步:用crictl直连测试(绕过kubelet):

sudo crictl -r unix:///run/containerd/containerd.sock info

成功返回JSON表示CRI层就绪;若报 failed to connect,说明containerd进程未监听该路径;若报 permission denied,说明SELinux/AppArmor策略拦截或文件权限错误。

排查containerd服务是否存活且响应正常

方法一:检查服务状态与进程

sudo systemctl status containerd

KreadoAI
KreadoAI

KreadoAI是一款AI文本写作工具,AI数字人视频营销创作平台。

下载

重点看 Active: 是否为 active (running),以及 Main PID 是否有有效数值。若显示 inactive (dead),直接执行 sudo systemctl start containerd 并观察是否秒退。

方法二:查看containerd最近崩溃线索

sudo journalctl -u containerd --since "5 minutes ago" | grep -E "(panic|fatal|oom|failed|exit)"

磁盘满是最常见原因:containerd无法写入/var/lib/containerd会导致初始化失败,日志中会出现 failed to write metadata 或 no space left on device。此时需清理镜像、日志或临时文件。

方法三:验证containerd配置是否兼容当前内核

升级系统后若启用cgroup v2,而/etc/containerd/config.toml中仍保留 [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options] 下的 SystemdCgroup = true,就会导致runtime无法启动——因为cgroup v2不支持systemd driver。此时需将该值改为 false 并重启containerd。

检查sandbox残留与cgroup驱动冲突

第一步:确认kubelet与containerd使用的cgroup driver是否一致

查kubelet配置:ps aux | grep kubelet | grep -o 'cgroup-driver=[^[:space:]]*',常见值为 cgroup-driver=systemd 或 cgroup-driver=cgroupfs。

查containerd配置:sudo sed -n '/\[plugins\.\"io\.containerd\.grpc\.v1\.cri\"\]/,/\[.*\]/ {/SystemdCgroup/p;}' /etc/containerd/config.toml。若kubelet用 systemd 而containerd配置中 SystemdCgroup = false,则必然超时。

第二步:强制清理僵死sandbox(仅当重启containerd后仍卡在CreatePodSandbox时使用)

sudo crictl ps -a | grep -E "(Pause|sandbox)" | awk '{print $1}' | xargs -r sudo crictl stop

sudo crictl ps -a | grep -E "(Pause|sandbox)" | awk '{print $1}' | xargs -r sudo crictl rm

这一步会清空所有沙箱容器,包括已退出但状态未同步的旧实例。操作后务必重启kubelet:sudo systemctl restart kubelet。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3108

3

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

2025.10.17

4629

12

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.12.29

3729

9

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

2026.01.19

426

15

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

2026.10.08

40

20

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

2026.09.30

140

10

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

2026.09.30

140

14

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

2026.09.30

100

12

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

2026.09.30

100

26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程