oracle集群脑裂主因是单点失效与时间窗口失控:私网单链路、voting disk未多路径、重负载下misscount被击穿;防范核心是打破单点依赖和时间盲区,需冗余网络、多路径投票盘、启用nohang模式并严控负载指标。

Oracle集群出现脑裂,不是配置没做全,而是关键路径上任一环节单点失效或时间窗口失控——比如私网只有一条物理链路、voting disk路径未多路径、misscount值在重负载下被轻易击穿。防范的核心是打破“单点依赖”和“时间盲区”。
私网心跳为什么一断就容易脑裂?
因为 Oracle CSSD 依赖网络心跳(每秒发包)快速感知节点状态,但默认 misscount 是 30 秒;一旦私网中断(哪怕只是交换机 STP 收敛、ARP 延迟、网卡驱动抖动),30 秒内收不到对方心跳,CSSD 就启动仲裁流程。此时若磁盘心跳仍可达,两个节点会各自认为“我有票、你没响应”,直接触发平局。
常见错误包括:
- 用单网卡或两块网卡连同一台交换机(物理不隔离)
-
oifcfg setif配的接口名(如bond0)与系统实际绑定名不一致,CSSD 静默降级为单路径 - 私网子网开了代理 ARP 或 ICMP 重定向,干扰 HAIP 流量路径
- 未用
ping -I bond0 -c 5 <peer_private_ip></peer_private_ip>实测直连通性,仅靠crsctl check cluster看状态
voting disk 多路径为什么不能只配 ASM 别名?
ASM 别名(如 +OCR)只是逻辑映射,不等于底层存储路径冗余。voting disk 必须通过操作系统级多路径(如 DM-Multipath)暴露为单一设备名(如 /dev/mapper/mpathb),再由 crsctl replace votedisk 指向该设备。否则,哪怕 ASM 磁盘组有三副本,只要底层某条 SAN 路径中断,CSSD 写 clssnmCheckDskInfo 就会超时。
验证要点:
-
ls -l /dev/mapper/ | grep mpath确认多路径设备存在且 active 路径 ≥2 -
crsctl query css votedisk输出路径必须是/dev/mapper/xxx类型,不能是/dev/sdb1或+OCR - 拔掉一条 SAN 光纤后,
mpathconf --show仍显示 active 状态,且ocssd.log无clssnmWaitForAckstimeout
高负载下脑裂预警信号比日志更早出现
重负载本身不导致脑裂,但它让 misscount 这个时间阈值变得极其脆弱。CPU 调度延迟、内存 swap、voting disk I/O 延迟都会叠加在心跳周期上,最终突破 30 秒。此时 ocssd.log 还没报错,但系统已进入高危状态。
必须盯住这三个实时指标:
-
top -p $(pgrep ocssd)中 %CPU 持续 >75%,且TIME+每秒增长 >1.5 秒 —— 说明 CSSD 进程正在被调度器反复推迟 -
crsctl stat res -t | grep ora.cluster_interconnect.haip状态在ONLINE/OFFLINE间抖动 —— HAIP 底层网卡驱动已开始丢包 -
grep "clssnmSendSyncfailed\|clssnmWaitForAckstimeout" $GRID_HOME/log/`hostname`/cssd/ocssd.log | tail -5出现频次 ≥2 次/分钟 —— 心跳发包或收包已不可靠
两节点集群为何最危险?
两节点没有天然多数派,仲裁完全依赖 voting disk 可达性 + 节点负载权重。当网络分区发生,A 和 B 各自看到 1 个节点、0 个 peer,CSSD 只能按预设规则裁决:默认驱逐节点号大的那个(Node(2) VS Node(1))。但若此时节点 2 正在处理核心交易,驱逐它反而引发业务中断。
真正可行的缓解手段只有两个:
- 强制部署第三个投票盘(哪怕只是 1GB 的 NFS 挂载盘),使集群具备 3 投票点,满足
≥(N/2)+1法定人数要求 - 启用
nohang模式(crsctl set css nohang true),让 CSSD 在驱逐前额外检查loadavg和 CPU steal time,优先保留低负载节点
注意:nohang 不是万能开关,它只影响驱逐决策顺序,不能替代网络和存储路径的物理冗余。最容易被忽略的是:两节点集群里,哪怕加了第三个 voting disk,如果该盘走的仍是同一套网络或存储链路,故障时照样一起失效。











