vxlan延迟比host-gw高0.2–0.8ms，因其需udp封装/解封装、fdb查表及绕过fast path进入gso/gro流程，而host-gw仅路由查表后二层转发；host-gw要求节点同二层广播域，跨路由器、云overlay或vlan未透传即失效。
要破除跨宿主机容器间通信的物理带宽瓶颈，关键不是“提升带宽”，而是**减少协议栈开销、避免用户态封包、绕过冗余转发路径**。VXLAN 和 host-gw 模式本身不增加带宽，但对数据路径的处理方式直接决定实际吞吐与延迟。选对模式、配准参数、避开常见陷阱，才能把物理网卡的潜力真正释放出来。
VXLAN 模式：用内核态封装换确定性低延迟
VXLAN 是目前 Flannel 主流且推荐的默认 backend，它在 Linux 内核 3.12+ 原生支持，封包/解包全程在内核态完成，相比已废弃的 UDP 模式（用户态进程转发），延迟降低 40% 以上，吞吐更稳定。
-
必须启用 VXLAN 内核模块：运行
modprobe vxlan，并确认lsmod | grep vxlan有输出；若未加载，需在/etc/modules中追加vxlan并重启网络或重载模块 -
禁用 checksum offload（常被忽略）：某些网卡驱动在 VXLAN 场景下会因校验卸载异常导致丢包或重传。执行：
ethtool -K eth0 tx off rx off gso off tso off（eth0 替换为实际集群通信网卡） -
调大 flannel.1 设备的 MTU：默认 1450（1500 − 50 VXLAN 头），若底层网络支持 Jumbo Frame（如 9000），可设为
8950，显著降低分片和中断次数。通过修改 Flannel ConfigMap 中backend: { "Type": "vxlan", "VNI": 1, "Port": 8472, "DirectRouting": true }并设置mtu: 8950生效
Host-gw 模式：零封装直通，性能逼近物理网卡极限
host-gw 完全不封装数据包，仅依赖宿主机路由表做三层转发，端到端路径最短。实测在万兆网络下，Pod 间 TCP 吞吐可达 9.2+ Gbps，延迟稳定在 80–120 μs，是当前 Flannel 下性能天花板。
- 硬性前提：所有节点必须二层互通——即宿主机网卡处于同一广播域（相同 VLAN / 无三层设备隔离）。跨机房、跨子网、经路由器中转的场景不可用
-
路由表规模可控的关键是 subnet 分配合理：例如使用
10.244.0.0/16总池，每个节点分配 /24（256 个 IP），则最多支持 256 个节点；若节点超 100，建议改用 /25（128 IP）以控制路由条目总数，避免内核路由查找退化 -
务必关闭 conntrack 对 Pod 流量的跟踪：host-gw 转发是纯路由行为，无需连接状态。执行：
sysctl -w net.netfilter.nf_conntrack_enable=0，并在/etc/sysctl.conf中持久化；否则高并发小包场景下 conntrack 表极易溢出，引发随机丢包
共性优化：绕过内核协议栈隐形瓶颈
无论选 VXLAN 还是 host-gw，以下配置能进一步压榨带宽利用率：
-
禁用 netfilter 对桥接/转发流量的默认干预：Flannel 不依赖 iptables NAT，但系统可能默认启用 FORWARD 链规则。执行：
iptables -P FORWARD ACCEPT && iptables -t filter -F FORWARD -
增大 veth pair 的 TX 队列长度：默认 1000 常成为突发流量瓶颈。对每个 veth 接口（如
vethXXXX）运行：ip link set dev vethXXXX txqueuelen 5000 -
启用 GRO（Generic Receive Offload）：合并入向小包，降低中断频率。对 flannel.1 和物理网卡均启用：
ethtool -K flannel.1 gro on && ethtool -K eth0 gro on
物理带宽瓶颈往往不是网卡跑不满，而是数据在内核里“绕远路、反复拷、频繁中断”。VXLAN 和 host-gw 的本质差异，是封装确定性 vs 路由简洁性；而真正的破局点，在于把每一跳的软开销压到最低。
