ORA-29770是LMHB检测到LMS/LMON进程70秒内无响应而触发的实例自毁机制,本质是全局资源协调失能的熔断,非网络连通问题;其根因需按私网通信、主机资源瓶颈、Oracle Bug三级顺序排查。

ORA-29770 不是“连接超时”,而是集群心跳进程(LMS/LMON/LMHB)在 70 秒内没响应,触发实例自毁机制。 它本质是 RAC 内部全局资源协调失能的紧急熔断,不是网络连通性问题本身,而是失能后的结果。
ORA-29770 的真实触发条件:LMHB 检测到 LMS 或 LMON hang 超过 70 秒
LMHB(Lock Manager Hang Monitor)进程每秒轮询一次 LMS(Global Enqueue Service)和 LMON(Global Enqueue Service Monitor)。一旦发现某个 LMS/LMON 进程在 70 秒内未更新其内部心跳计数器(kjgcr_Main 或 kjfmGCR_HBdisambig 日志无新时间戳),就认定该进程卡死,立即终止整个实例。
- 典型日志线索:
LMS0 (ospid:17259) has not called a wait for 97 secs、ORA-29770: global enqueue process LMS0 (OSID 17259) is hung for more than 70 seconds - 注意:70 秒是硬编码阈值,无法通过参数调整
- 不是“等不到响应”,而是“完全没动”——进程可能卡在 OS 系统调用(如
control file sequential read)、共享内存争用或信号阻塞中
最常踩的三个坑:私网通信、CPU/IO 压力、Oracle Bug
排查必须按此顺序优先级推进,跳过前一步直接调参数等于白忙:
-
私网不通或高延迟:RAC 节点间所有 LMS/LMON 心跳、GRD 同步、块传输都走私网(非 public VIP)。
firewalld默认拦截私网段(如192.168.10.0/24),clsssInitNative: connect failed, rc 9或IPC SEND timeout是前置征兆。仅开放 1521 端口毫无意义 -
主机级资源瓶颈:
top显示 CPU >90% 或 iowait 高时,LMS 进程可能被调度器饿死,或卡在磁盘读控制文件(control file sequential read)。此时mgr1_lmhb_17273.trc中会明确写CPU is high. Top oracle users listed below -
已知 Oracle Bug:11.2.0.1–11.2.0.2 中
Bug 8888434(LMON 卡在 control file read)、11.2.0.2–11.2.0.3 中Bug 11890804(LMS 在 DRM 过程中挂起)都会直接引发 ORA-29770。检查opatch lsinventory是否已打对应补丁
为什么 SQLNET.EXPIRE_TIME 和防火墙临时关闭都救不了它?
因为 ORA-29770 完全不经过 SQL*Net 协议栈,也不依赖防火墙放行的端口。它是 GI 层(Grid Infrastructure)内部进程间通过 GIPC(Grid Interprocess Communication)在私网直接通信的健康检查机制:
-
SQLNET.EXPIRE_TIME只影响客户端连接空闲探测,对 LMS-LMON 通信零作用 - 临时停用
firewalld只能验证是否为私网拦截,但若已发生 hang,实例早已被 LMHB 终止,重启后仍会复现 - 真正要抓的是
mgr1_lmhb_17273.trc和mgr1_lms0_17259.trc——前者告诉你“谁被判定 hang”,后者告诉你“它卡在哪一行代码、哪个等待事件”
复杂点在于:同一套日志里可能混着多个根因。比如私网丢包导致 LMS 重传超时,同时主机 CPU 过载又拖慢重传处理,最终在 LMHB 判定时叠加爆发。必须从 trace 文件的时间戳精度(毫秒级)和堆栈帧(kjgcr_poll / kjfmGCR_HBdisambig)出发,而不是只看错误行号。











