私网网卡漂移本身不直接导致脑裂,真正触发脑裂的是漂移后私网心跳中断而磁盘心跳仍有效,致使两节点均误判对方死亡、仲裁失败分裂;关键在于oifcfg未同步更新接口配置,导致cssd静默降级为单路径模式,haip资源离线且无显式报错。

私网网卡漂移本身不会直接导致脑裂,真正触发脑裂的是漂移后引发的私网心跳(network heartbeat)中断,而 disk heartbeat 仍可访问——此时两个节点都自认“活着”,又无法协商谁该退出,仲裁失败就分裂了。
私网漂移为什么等于心跳断连
Oracle RAC 的 CSSD 进程依赖私网 UDP 多播/单播包维持 network heartbeat。一旦网卡漂移(比如 bond0 故障后切到 bond1,但 oifcfg 未注册 bond1 或 HAIP 未绑定新接口),ocssd.log 就会反复出现 no network HB 或 clssnmvDHBValidateNCopy: has a disk HB, but no network HB。这意味着:CSSD 收不到对端心跳包,但 voting disk 读写正常,于是每个节点都进入“我在线、对方已死”的误判状态。
- 漂移后若未及时更新
oifcfg setif,CSSD 会静默降级为单路径模式,crsctl stat res -t -init中ora.cluster_interconnect.haip显示 OFFLINE,但日志里几乎不报错 - HAIP 地址分配依赖底层网卡绑定状态;bond0 漂移到 bond1 后,若未重启 HAS,HAIP 仍试图在已失效的 bond0 上发包,UDP 包被内核丢弃
- arping -I bond1
169.254.x.x失败,或tcpdump -i bond1 port 12345抓不到出向心跳包,就是漂移未生效的铁证
为什么 disk heartbeat 还在却更危险
disk heartbeat 是通过读写 voting disk 实现的,只要存储链路通,它就比 network heartbeat “更顽强”。但这也正是脑裂高发的温床:网络层已断,存储层还活,CSSD 无法区分这是“网络故障”还是“节点崩溃”,只能按默认策略(css_misscount=30)驱逐——可如果两端都卡在 29 秒内收到 disk HB 却收不到 network HB,就会同时发起仲裁请求,投票盘数为偶数时直接平局。
- voting disk 必须 ≥3 个且物理分散,否则单盘故障或路径中断会导致投票权失衡
- 启用
nohang模式可避免因短暂抖动触发驱逐,但前提是 network heartbeat 路径本身可靠 - 不要把 voting disk 和 OCR 放同一 LUN,否则一次存储 IO 延迟可能同时拖垮仲裁和集群元数据
oifcfg 配置错位是漂移后脑裂的隐形推手
很多团队以为配了双网卡+双交换机就安全了,结果一拔线就脑裂——问题出在 oifcfg setif 注册的接口名和实际活跃网卡不一致。例如系统当前用的是 enp0s9,但 oifcfg getif 显示的是 eth1,CSSD 就只监控 eth1,哪怕 enp0s9 流量一切正常,network heartbeat 仍是 dead。
- 执行
oifcfg setif -global enp0s9/10.10.10.0:cluster_interconnect前,必须确认该网卡已 up 且 IP 配置匹配子网 - 修改后必须
crsctl stop has→ 等ps -ef | grep -i "cssd\|ohasd"全退出 →crsctl start has;仅crsctl restart resource ora.cluster_interconnect.haip无效 -
olsnodes -s -n -i输出中不能有空行或Inactive,否则oifcfg命令会直接报PRIF-26
最易被忽略的一点:私网子网不能与公网、存储网重叠,且必须关闭该子网的 ICMP 重定向和代理 ARP——这些看似无关的系统参数,会在网络闪断时让 ARP 表老化异常,导致 HAIP 包发出去却收不到回应,最终被判定为 network HB 失效。











