分层定位是linux下排查docker跨节点网络丢包和延迟的核心方法：先测宿主机间网络质量，再验cni插件（如flannel/vxlan）状态，接着容器内双向抓包比对，最后查内核参数与宿主机资源瓶颈。
在 Linux 下排查 Docker 容器跨节点网络的丢包和延迟问题，核心是**分层定位**：先确认底层主机网络是否正常，再验证容器间通信路径（特别是 Overlay 网络或 CNI 插件行为），最后聚焦容器内应用流量。不能直接在容器里跑 ping 或 iperf 就下结论——很多丢包/延迟其实发生在宿主机网卡、iptables 规则、VXLAN 封装/解封装、或 SDN 控制平面异常上。
1. 先测宿主机之间基础网络质量
这是所有排查的前提。如果两台 Docker 主机（nodeA 和 nodeB）之间本身就丢包或高延迟，容器网络必然受影响。
- 用 ping -c 20 nodeB_IP 查看丢包率和平均延迟；建议持续测 2 分钟以上，避免瞬时抖动干扰判断
- 用 mtr --report nodeB_IP 查看逐跳路径，确认是否存在某一级路由或防火墙设备异常（如中间交换机限速、ACL 丢包）
- 用 iperf3 -c nodeB_IP -t 30 -i 5 测试 TCP 吞吐与重传情况（需两端都装 iperf3），高重传率往往指向网络拥塞或网卡驱动问题
2. 验证容器网络插件工作状态（以 Flannel + VXLAN 为例）
Docker 默认 bridge 模式不支持跨节点通信，实际依赖 CNI 插件（如 Flannel、Calico、Weave）。常见问题是 VXLAN 设备配置错误、后端 etcd 不可用、或子网分配冲突。
- 检查 Flannel 是否正常运行：systemctl status flanneld，查看日志是否有 “Failed to retrieve network config” 类报错
- 确认 VXLAN 接口状态：ip -d link show flannel.1，重点看 lower_vxlan 是否 UP，以及 dstport 是否为 8472（默认 VXLAN 端口）
- 查容器所在子网是否被正确分配：etcdctl get /coreos.com/network/subnets/（Flannel）或 calicoctl get ippool -o wide（Calico）
3. 容器内精准抓包 + 路径比对
在源容器和目标容器中同时抓包，能明确丢包发生位置：是发不出去？还是对方没收到？或是响应包被丢？
- 进源容器：docker exec -it
tcpdump -i eth0 -w /tmp/src.pcap host - 进目标容器：docker exec -it
tcpdump -i eth0 -w /tmp/dst.pcap host - 导出两个 pcap 文件，在 Wireshark 中用 I/O Graph 对比发送/接收数量，或用 Statistics → Conversations → IPv4 查看双向数据包计数差异
- 特别注意：若 src 抓到 SYN，dst 没抓到 —— 问题在 VXLAN 封装或宿主机转发；若 dst 抓到但无回复 —— 检查容器 iptables INPUT 链、或目标进程是否监听正确端口
4. 检查关键内核参数与宿主机资源瓶颈
Linux 内核参数不当或宿主机资源过载，会导致 VXLAN 包处理延迟甚至丢弃，这类问题在高并发小包场景下尤为明显。
- 检查 UDP 缓冲区是否溢出：netstat -s | grep -A 5 "Udp:"，关注 packet receive errors 和 receive buffer errors
- 临时调大 UDP 接收缓冲区：sysctl -w net.core.rmem_max=16777216（16MB），并写入 /etc/sysctl.conf 持久化
- 确认宿主机 CPU、内存、软中断（si）负载是否过高：top -H 看 ksoftirqd 进程占用，cat /proc/net/snmp | grep Udp 查 UDP InErrors
- 检查网卡是否启用 GRO/LRO：ethtool -k eth0 | grep gro，某些旧版内核+VXLAN 组合下开启 GRO 会导致封包异常，可尝试关闭：ethtool -K eth0 gro off
跨节点容器网络问题不是单点故障，而是多层组件协同的结果。从物理链路→宿主机协议栈→CNI 插件→容器网络命名空间，每一层都要有验证手段。抓包和对比是黄金方法，而忽略宿主机层面的 UDP 错误统计，往往会让你在容器里反复重启服务却找不到根因。
