gc cr block lost进Top 5且Avg Wait >1000ms是脑裂前最硬告警,须立即查netstat重传、ping测MTU、确认Estd Interconnect流量突增及Avg global cache block receive time是否持续>10ms。

AWR报告本身不会直接显示“即将脑裂”,但脑裂前的底层通信劣化一定会在AWR中留下可追踪的GC异常信号——这些不是巧合,是私网开始掉帧、重传、超时的必然结果。
gc cr block lost进Top 5且Avg Wait >1000ms
这是最硬的前置告警。一旦gc cr block lost或gc current block lost出现在Top 5 Timed Foreground Events里,且平均等待时间超过1000 ms,说明IPC send timeout已频繁触发,UDP包在私网层大量丢失或延迟堆积。这不是SQL问题,也不是锁争用,是节点间“喊话没人应”。此时集群可能还在运行,但心跳已处于临界状态。
- 必须立刻查
netstat -s | grep -i "retransmit"确认UDP重传是否飙升 - 用
ping -s 1472测试MTU是否匹配(1472 = 1500 MTU - 20 IP header - 8 ICMP header) - 若
Estd Interconnect traffic (KB)从几百KB/s突增至几MB/s(如24 MB/s),基本可断定重传风暴已形成
Avg global cache block receive time持续>10ms
这个指标藏在AWR报告末尾的Global Cache Statistics小节里,单位是毫秒。正常值应在1–3 ms;超过5 ms需警惕;持续>10 ms就是明确信号:节点间块传输延迟已严重超标,CSSD心跳包很可能也开始丢包。它不依赖Top 5排序,也不受采样偏差影响,是端到端通信质量的直接度量。
- 该值和
gc cr block 2-way等正常开销无关,只反映真实传输耗时 - 若某节点该值显著高于其他节点,说明它与该节点之间的私网链路已劣化
- 注意:AWR每小时采样一次,若问题呈秒级毛刺,必须结合
v$cluster_interconnects和OS层tcpdump实时验证
Blocks received远大于Blocks served(单节点视角)
在Global Cache Load Profile中,对比每个节点的Blocks received和Blocks served。若某节点长期呈现“接收远多于服务”,说明它正被动拉取CR块,而非主动推送,大概率已成为GC流量黑洞——这往往是私网不对称丢包或单向延迟升高的表现,也是脑裂前最隐蔽的征兆之一。
- 不是看总量,而是看比值:比如节点1的received/served = 8.2,而其他节点都在1.1–1.3之间
- 该现象常伴随
gc buffer busy acquire等待上升,但根源不在buffer链,而在块根本没及时送达 - 若该节点同时出现
enq: CF - contention,说明控制文件访问也因网络延迟开始排队,风险等级升级
真正危险的不是AWR里某一行数字变红,而是三组指标——gc cr block lost高延时、Avg global cache block receive time破10ms、某节点Blocks received畸高——同时恶化。这时AWR已不是诊断工具,而是倒计时读数。别等CRS-1601报错才动手,等看到驱逐日志,数据一致性就只能靠运气了。











