K8s怎么排查Pod由于DNS超时导致的业务接口卡顿

陌磊同学_3996

陌磊同学_3996

2026-10-23

821人浏览

原创

问题极可能出在k8s dns链路,需先通过curl -w验证time_namelookup是否远高于time_connect,再对比直连clusterip确认dns瓶颈;接着检查/etc/resolv.conf配置、coredns连通性、pod状态、endpoints、日志及corefile forward插件。

k8s怎么排查pod由于dns超时导致的业务接口卡顿

业务接口响应缓慢或超时,但直连服务IP正常,而调用域名时卡在解析阶段,说明问题极可能出在K8s DNS链路——不是容器本身配置错误,而是CoreDNS解析路径中某环出现延迟、丢包或负缓存未清除。

确认是否真为DNS层超时

别急着重启CoreDNS。先进入异常Pod执行带时间度量的curl:curl -w "@curl-format.txt" -o /dev/null http://svc-name.namespace.svc.cluster.local,重点看time_namelookup字段是否远高于time_connect(例如前者12.345s,后者0.012s)。

立即对比直连ClusterIP:curl -w "@curl-format.txt" -o /dev/null http://10.96.123.45。若后者耗时毫秒级,前者十几秒,【基本锁定是DNS解析环节卡住】。

再运行nslookup svc-name.namespace.svc.cluster.local,观察是否卡在“Server:”之后无响应、返回timeout或NXDOMAIN——前者指向网络连通性问题,后者可能是服务未注册或search域不匹配。

检查Pod的DNS配置与基础连通性

执行kubectl exec -it <pod-name> -n <namespace> -- cat /etc/resolv.conf</namespace></pod-name>,确认nameserver行只有一条且指向集群CoreDNS Service IP(如10.96.0.10),【若出现127.0.0.53、多个nameserver或宿主机IP,说明dnsPolicy被覆盖或节点resolv.conf污染】。

检查search域是否包含namespace.svc.cluster.local svc.cluster.local cluster.local,缺任何一个都可能导致短域名解析失败。

用nc -vz 10.96.0.10 53测试UDP端口连通性;若失败,再试TCP:nc -vz 10.96.0.10 53。不通则立刻查kube-proxy状态、CNI插件日志、节点防火墙或云厂商安全组规则。

uk8s
uk8s

创建 UK8S Kubernetes 集群。通过 ucloud-cli 调用 API,自动获取 VPC/子网/版本/镜像,生成配置并创建集群。

下载

验证CoreDNS自身健康与上游可达性

第一步:确认Pod状态与Endpoint一致
执行kubectl get pods -n kube-system -l k8s-app=kube-dns,确保所有Pod为Running且READY 1/1;
执行kubectl get endpoints -n kube-system kube-dns,确认ENDPOINTS列有IP且端口为53(UDP/TCP)。

第二步:抓取关键日志线索
运行kubectl logs -n kube-system -l k8s-app=kube-dns --tail=100 | grep -E "(i/o timeout|refused|no upstream|SERVFAIL)"。
若出现forward plugin: no upstream,说明Corefile里forward插件缺失或上游DNS地址不可达;
若大量i/o timeout且集中在upstream,检查CoreDNS所在节点能否ping 8.8.8.8或dig google.com @1.1.1.1。

第三步:核对Corefile配置
执行kubectl get cm coredns -n kube-system -o yaml,确认forward .后跟的是有效上游(如8.8.8.8或节点/etc/resolv.conf中的DNS),【禁用forward . /etc/resolv.conf这种写法,它会继承节点污染的DNS】。

用直连PodIP隔离Service数据面故障

方法一:绕过kube-proxy,定位真实瓶颈
① 获取一个CoreDNS Pod IP:kubectl get pod -n kube-system -l k8s-app=kube-dns -o jsonpath='{.items[0].status.podIP}'
② 在业务Pod内直连查询:kubectl exec -it <pod-name> -n <namespace> -- nslookup kubernetes.default <coredns-pod-ip></coredns-pod-ip></namespace></pod-name>
③ 若②成功但默认解析失败,则问题在kube-proxy规则、conntrack表溢出、NetworkPolicy拦截或CNI转发异常。

方法二:快速复现并比对
起一个临时BusyBox调试Pod:kubectl run -it --rm dns-test --image=busybox --restart=Never -- sh,在其中重复上述nslookup和nc测试,避免业务Pod镜像差异干扰判断。

方法三:检查NodeLocal DNSCache(如已启用)
若集群部署了NodeLocal DNSCache,进入业务Pod执行cat /etc/resolv.conf,确认nameserver是否为169.254.20.10;若不是,说明注入失败,需检查DaemonSet状态及节点污点容忍。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3168

3

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

2025.10.17

4969

12

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.12.29

3789

9

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

2026.01.19

466

15

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

2026.10.22

0

11

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

2026.10.22

0

10

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

2026.10.22

0

15

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

2026.10.22

0

10

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

2026.10.22

0

25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程