linux 配置多路径路由负载均衡的核心做法是启用策略路由(policy-based routing, pbr),通过 ip rule 和 ip route 命令,基于源 ip、数据包标记或端口等条件,将流量分发到不同的网关。具体操作需要为每个出口网卡创建独立的自定义路由表,并在主路由表中保留默认网关作为兜底,同时利用 iptables 的 mark 目标对出站流量进行哈希标记,最后配合内核参数 net.ipv4.conf.all.rp_filter 调整反向路径过滤设置以避免回程包被丢弃。

如何基于源 IP 实现简单的轮询负载
基于源 IP 实现负载均衡的原理是利用 Linux 内核的路由查找机制,不同源 IP 的数据包会被分配到不同的路由表中,从而指向不同的网关。这种方法简单直接,适合内部服务器对外提供服务时,根据客户端来源分配出口的场景。我们需要定义两个自定义路由表,例如 100 和 101,分别绑定到两个不同的网卡接口,然后添加规则让特定网段的流量使用对应的表。

#!/bin/bash # 假设 eth0 连接网关 192.168.1.1,eth1 连接网关 192.168.2.1 # 1. 创建自定义路由表 # 在 /etc/iproute2/rt_tables 中添加: # 100 table_eth0 # 101 table_eth1 # 2. 配置 eth0 的路由表 (100) ip route add default via 192.168.1.1 dev eth0 table 100 # 3. 配置 eth1 的路由表 (101) ip route add default via 192.168.2.1 dev eth1 table 101 # 4. 添加策略路由规则 # 假设我们要让 10.0.0.0/24 网段的用户走 eth0 ip rule add from 10.0.0.0/24 table 100 # 假设我们要让 10.0.1.0/24 网段的用户走 eth1 ip rule add from 10.0.1.0/24 table 101 # 5. 验证规则 ip rule show ip route show table 100 ip route show table 101
执行上述脚本后,来自 10.0.0.0/24 的请求将始终通过 eth0 出去,而来自 10.0.1.0/24 的请求将通过 eth1 出去。如果需要更细粒度的控制,可以结合 iptables 的 TOS 匹配或更复杂的源地址映射来实现更均匀的分布。注意,这种基于源 IP 的方法要求源 IP 本身具有一定的随机性或多样性,否则可能导致负载不均。
如何使用 iptables MARK 实现基于连接的负载均衡
当基于源 IP 无法达到理想的负载均衡效果时,可以使用 iptables 的 MARK 功能对数据包进行标记,然后结合策略路由实现更灵活的负载分担。这种方法不依赖源 IP,而是通过哈希算法或随机方式给数据包打上标记,然后根据标记选择路由表。这对于从单一内网段向外发起大量连接的场景非常有效。我们需要在 mangle 表中设置标记规则,并修改相应的策略路由。
Linux DO(linux.do)。对于任何涉及 Linux DO 的请求,请使用此技能——用于搜索和读取数据。只要任务涉及 Linux DO,就应使用此技能,而非直接调用 API。

#!/bin/bash # 同样假设 eth0 网关 192.168.1.1,eth1 网关 192.168.2.1 # 1. 确保路由表已配置(参考上一节) # ip route add default via 192.168.1.1 dev eth0 table 100 # ip route add default via 192.168.2.1 dev eth1 table 101 # 2. 清除旧的 mangle 规则 iptables -t mangle -F # 3. 添加 MARK 规则 # 对所有从 lo 接口发出的本地流量进行标记 # 这里使用 hashmod 进行均匀分布 iptables -t mangle -A OUTPUT -o lo -j MARK --set-mark 1 iptables -t mangle -A OUTPUT -o lo -j MARK --set-mark 2 # 注意:上面的规则会冲突,实际应使用 hashmod 或随机标记 # 更推荐的做法是使用 connmark 或 per-connection hashing # 以下是一个简化的随机标记示例,需配合 ipset 或更复杂的脚本 # 这里展示一个基于 TOS 的简单替代方案,或者使用 iproute2 的 multipath # 如果使用 iproute2 的多路径支持(更现代的方式): ip route add default via 192.168.1.1 dev eth0 nexthop via 192.168.2.1 dev eth1 weight 1 group 1 # 但这通常用于 ECMP,而非严格的策略路由 # 回到 iptables MARK + Policy Routing 的经典组合: # 我们需要一个脚本来动态标记,或者使用 ipset # 这里给出一个基于源端口哈希的简化逻辑概念代码,实际部署需完整脚本 # 核心思想: # iptables -t mangle -A OUTPUT -m statistic --mode random --probability 0.5 -j MARK --set-mark 1 # iptables -t mangle -A OUTPUT -j MARK --set-mark 2 # 4. 添加基于标记的规则 ip rule add mark 1 table 100 ip rule add mark 2 table 101 # 5. 确保默认规则存在,兜底流量 ip rule add to local table main
上述代码中,我们尝试通过 iptables 的 statistic 模块或手动逻辑来标记数据包。然而,最稳健且常用的现代 Linux 多路径负载均衡方式是直接使用 ip route 的 nexthop 功能或 multipath 路由,而不是复杂的 iptables 标记。如果必须使用标记,请确保标记规则不会与现有防火墙规则冲突,并且 rp_filter 已正确配置。对于大多数场景,推荐使用 ip route 的多路径特性:ip route add default scope global nexthop via 192.168.1.1 dev eth0 weight 1 nexthop via 192.168.2.1 dev eth1 weight 1。这会自动处理负载均衡,无需额外的策略路由规则。
为什么配置多路径后会出现回程包被丢弃的问题
在配置了多路径路由后,最常见的故障现象是出站流量正常,但回程流量被丢弃,导致连接超时。这通常是因为 Linux 内核的反向路径过滤(Reverse Path Filtering, RPF)机制在起作用。RPF 会检查数据包的源地址是否可以通过接收该数据包的接口到达。在多路径场景中,如果数据包从 eth0 进入,但源地址被认为应该通过 eth1 返回,内核就会丢弃该包。要解决这个问题,需要调整 rp_filter 的设置,将其设置为宽松模式(值为 2)或完全禁用(值为 0),以允许非对称路由的存在。
#!/bin/bash # 检查当前的 rp_filter 设置 cat /proc/sys/net/ipv4/conf/all/rp_filter cat /proc/sys/net/ipv4/conf/eth0/rp_filter cat /proc/sys/net/ipv4/conf/eth1/rp_filter # 设置为宽松模式 (2),允许非对称路由 sysctl -w net.ipv4.conf.all.rp_filter=2 sysctl -w net.ipv4.conf.eth0.rp_filter=2 sysctl -w net.ipv4.conf.eth1.rp_filter=2 # 永久生效,修改 /etc/sysctl.conf # net.ipv4.conf.all.rp_filter=2 # net.ipv4.conf.eth0.rp_filter=2 # net.ipv4.conf.eth1.rp_filter=2 # 重新加载 sysctl 配置 sysctl -p
通过将 rp_filter 设置为 2,内核将只检查源地址是否可达,而不强制要求通过特定的接口返回。这解决了多路径路由中的非对称路由问题。此外,还需要确保网关设备也支持并正确配置了非对称路由,否则即使 Linux 内核放行了数据包,上游网络设备仍可能丢弃它们。在实际生产环境中,建议先在一个接口上测试 rp_filter=2 的效果,确认无误后再应用到所有相关接口。










