Linux怎么排查CoreDNS解析偶发性超时5秒的问题

千墨同学_9178

千墨同学_9178

2026-10-28

723人浏览

原创

CoreDNS解析偶发5秒超时,根源常是glibc串行fallback机制:首个nameserver超时(默认timeout:5 attempts:2)导致阻塞,而非CoreDNS自身故障;需先验证/etc/resolv.conf是否指向CoreDNS、再排除上游转发延迟或health_check等配置干扰。

linux怎么排查coredns解析偶发性超时5秒的问题

CoreDNS 解析偶发性超时 5 秒,基本就是 glibc 的默认 DNS 查询超时机制在起作用:第一个 nameserver 响应慢或丢包,它会卡满 timeout:5 attempts:2(即最多等 10 秒),而你观察到的“5 秒”往往是第一次尝试失败后、第二次重试前的等待间隙,或恰好落在某次超时边界上。

确认是不是 CoreDNS 本身的问题,而不是客户端配置

别一上来就查 CoreDNS 日志。先验证调用方是否真的在走 CoreDNS:

  • 检查 Pod 的 /etc/resolv.conf:必须是 nameserver 10.96.0.10(或你集群的 kube-dns Service IP),且 search 域合理;如果里面写了 8.8.8.8 或 127.0.0.53,那根本没经过 CoreDNS
  • 检查 Node 上的 /etc/resolv.conf:如果宿主机配了多个 nameserver,且第一个不可达,dig @10.96.0.10 却能通,说明问题不在 CoreDNS,而在客户端 resolver 的串行 fallback 逻辑
  • 运行 nslookup service-b.internal 10.96.0.10(直连 CoreDNS):反复执行 100 次,看是否也出现偶发超时;如果稳定

抓包定位到底是哪一跳卡住的

在出问题的 Pod 所在 Node 上抓包,目标是 CoreDNS 的 ClusterIP 和真实 Pod IP:

  • 先确认 CoreDNS Pod 地址:kubectl -n kube-system get pod -o wide | grep coredns
  • 在 Node 上执行:tcpdump -i any host 10.96.0.10 and port 53 -w coredns-53.pcap(捕获发往 Service 的请求)
  • 同时再抓一条:tcpdump -i any host 10.32.0.6 and port 53 -w coredns-pod.pcap(替换为真实 Pod IP)
  • 复现一次超时后分析:如果第一条有请求但第二条没对应包 → 卡在 kube-proxy DNAT 或 conntrack;如果第二条有请求但无响应 → CoreDNS 处理慢或 upstream 超时;如果两条都有响应但耗时 >5s → 看响应内容:是否是 SERVFAIL 或空答案(说明转发链断裂)

检查 CoreDNS 配置里有没有隐藏的 timeout 或 forward 延迟

默认 CoreDNS 配置中 forward 插件不设超时,会继承系统默认值,但某些定制配置可能加了 health_check 或 policy 引入隐式延迟:

Adblock Dns
Adblock Dns

在你的机器上运行DNS服务器,使用Pi-hole黑名单阻止189,000+个广告、追踪器和恶意软件域名,实现全网拦截。

下载
  • 检查 coredns ConfigMap:kubectl -n kube-system get cm coredns -o yaml
  • 重点看 forward 行:如果有类似 forward . 10.1.1.10 { policy sequential },且 10.1.1.10 响应慢,就会拖累整条链;更危险的是写了 health_check 5s,它会在每次查询前探测上游健康状态,探测失败就 fallback,探测本身就要耗时
  • 检查是否启用了 cache 插件但 TTL 过短(如 cache 10),导致高频穿透到上游;或者没启用 cache,所有请求都打到 upstream
  • 临时禁用 health_check 测试:kubectl edit cm -n kube-system coredns,删掉 health_check 行,重启 CoreDNS Pod,观察是否还偶发 5s

绕过 kube-proxy 直连 CoreDNS Pod 排除 iptables/conntrack 干扰

Service 的 ClusterIP 是一层抽象,背后依赖 iptables DNAT 和 conntrack,这两者在高并发或 conntrack 表满时会显著增加延迟:

  • 获取一个 CoreDNS Pod 的真实 IP:kubectl -n kube-system get pod coredns-abcde -o wide
  • 在业务 Pod 内直接 dig:dig @10.32.0.6 example.local +short(用真实 IP,不是 10.96.0.10)
  • 如果直连稳定 dmesg | grep "nf_conntrack: table full",或调大 net.netfilter.nf_conntrack_max
  • 若直连也偶发超时,则聚焦 CoreDNS 自身资源(CPU limit 是否被压满)、upstream DNS 健康度、或是否开启了 debug 日志导致 I/O 阻塞

真正容易被忽略的是:CoreDNS 默认不记录单次查询耗时,log 插件只打成功/失败,不打 latency;想确认是不是某次 upstream 转发卡住,必须开 debug 模式并配合 prometheus 抓 coredns_dns_request_duration_seconds_bucket 直方图——5 秒超时一定会落在 le="5" 桶之外。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4250

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3593

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2833

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6970

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

6602

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3793

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3285

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3519

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习