crsd反复重启主因是ocssd不稳,需先确认ocssd进程是否存在且运行时长稳定,再查ocssd.log中crs-1611/1610、haip配置、磁盘心跳及ocr磁盘组状态。

crsd进程反复重启,先看ocssd是否稳住
CRSD反复重启几乎从不单独发生——它依赖CSSD(ocssd.bin)提供集群状态服务。如果ocssd.bin本身在抖动或反复挂掉,CRSD必然跟着起不来。
查证方式很简单:ps -ef | grep ocssd,看进程是否存在、运行时长是否稳定(比如刚启动不到10秒就消失)。
常见诱因包括:
• /oracle/11.2.0/grid/log/<hostname>/cssd/ocssd.log</hostname>里连续出现CRS-1611或CRS-1610,说明网络心跳丢包严重
• 私网接口未被HAIP识别:执行$GRID_HOME/bin/oifcfg getif -global,确认输出含:cluster_interconnect标记;若显示旧网卡名(如eth1),必须用oifcfg setif重设并重启集群
• 磁盘心跳失败:crsctl query css votedisk返回路径不可读,或asmcmd lsdg中OCR所在磁盘组状态为DISMOUNTED
crsctl start crs卡在ora.crsd,检查资源依赖链是否断裂
crsctl start crs成功不代表CRSD真起来了——它可能卡在“ONLINE INTERMEDIATE”或反复进入OFFLINE状态。这不是CRSD自身代码问题,而是它依赖的上游资源没ready。
关键检查点:
• crsctl stat res -t中ora.cssd必须是ONLINE,否则CRSD无法注册资源
• ora.asm必须ONLINE且对应ASM实例已mount OCR磁盘组(如+OCRVOTE);若sqlplus / as sysasm连不上,先查asmcmd权限和udev规则
• ora.storage状态为ONLINE INTERMEDIATE,说明ASM起来了但挂不了盘,重点核对各节点/dev/mapper/下OCR设备WWID是否一致,避免多路径错位
• 不要跳过验证直接srvctl start database——强行启动DB会触发资源冲突,导致CRSD反复清理注册表后崩溃
日志里频繁报ORA-29740,别只盯alert.log
ORA-29740是驱逐结果,不是原因。它总伴随evicting instance x from cluster或this node was evicted by node y出现在alert_<inst>.log</inst>,但根因藏在ocssd.log里。
必须直奔/oracle/11.2.0/grid/log/<hostname>/cssd/ocssd.log</hostname>搜三类关键词:
• IPC Send timeout detected → 私网UDP 12345端口被防火墙拦截,或网卡rx_discards非零(ethtool -S ethx | grep disc)
• disk heartbeat failed → voting disk路径不可写、权限不对(应为grid:oinstall,660裸设备)或ASM磁盘组未mount
• Authentication OSD error, op: scls_auth_response_prepare loc: mkdir → /u01/oracle/product/11.2.0/grid/css/auth/目录空间满(常见于trace文件爆掉,df -h立刻查)
注意:CRS-4639: Could not contact Oracle High Availability Services在stop cluster -all过程中出现是正常的级联中断,不是故障信号
crsctl check crs报CRS-4537,ohasd根本没起来
CRS-4537意味着整个高可用框架底层已崩,crsctl命令连通信通道都没了。此时crsctl start crs必失败,硬执行只会浪费时间。
第一步永远是:ps -ef | grep ohasd —— 若无输出,说明ohasd进程根本没跑起来。
接着检查:
• /etc/oracle/olr.loc是否存在且内容有效(olrconfig_loc=...指向的路径必须真实存在、可读)
• 该路径下olr.ocr文件属主是否为root:root、权限是否为644
• 手动启动:sudo $GRID_HOME/bin/crsctl start ohasd,之后立刻crsctl check crs验证是否返回CRS-4638
切记:不要重跑root.sh——它会覆盖OCR配置,在没确认OLR完好的前提下操作极易引发OCR损坏
ohasd到ocssd,再到ASM磁盘组和私网心跳。每层都得稳,缺一不可。最容易被忽略的是私网接口配置滞后于实际网卡变更,以及OCR磁盘组权限在多节点间不一致——这两点不解决,重启一百次CRSD也没用。











