如何修复Oracle RAC的ORA-29740节点驱逐错误

千磊姑娘_6015

千磊姑娘_6015

2026-08-11

941人浏览

原创

ora-29740是集群层css主动驱逐节点的结果而非原因,表明节点已被判定失联;需结合alert.log中的ipc超时、ocssd.log中的eviction标记及lmon trace中的驱逐动因综合分析。

如何修复oracle rac的ora-29740节点驱逐错误

ORA-29740不是数据库错误,是集群层驱逐信号

看到 ORA-29740 就去查 alert.log 里的 SQL 报错或事务回滚,方向就错了。这个错误只说明:CSSD 进程已判定该节点“失联”,并执行了强制隔离——它本身不告诉你为什么失联,只是结果。

真正要盯的是时间点前后 1–2 分钟内的三类日志:

  • alert.logORA-29740 出现前的 IPC Send timeoutWaiting for clusterware split-brain resolution
  • $GRID_HOME/log/<hostname>/cssd/ocssd.log</hostname> 里紧邻的 node eviction initiatedEviction initiated for node X
  • 被驱逐节点的 <instance_name>_lmon_<pid>.trc</pid></instance_name>(路径如 /oracle/app/diag/rdbms/<db_name>/<instance_name>/trace/<instance_name>_lmon_14788.trc</instance_name></instance_name></db_name>),搜索 evicted by instanceminact-scn: useg scan erroring out

先查 LMON trace 定位驱逐动因,别只看 alert.log

lmon 是实例级成员资格仲裁的核心进程,它的 trace 文件比 alert.log 更早、更直接记录驱逐逻辑。比如出现:

IPC Receiver dump detected.
minact-scn: got error during useg scan e:12751
Detected an inconsistent instance membership by instance 1

说明实例内部已严重卡顿,lmon 主动放弃协调——此时驱逐是结果,不是起点。

常见线索及对应动作:

  • 出现 IPC Receiver dump detected → 检查本节点 CPU 是否持续 >90%、内存是否被 OOM Killer 杀过进程(dmesg -T | grep -i kill
  • 大量 minact-scn: useg scan erroring out → SGA 压力过大,确认 _lm_tickets 是否过小(SGA >100GB 时建议设为 5000)
  • trace 里有 kjxgrrcfgchk: Initiating reconfig, reason 3 → 原因代码 3 = “通信故障”,需立刻转向网络和存储排查

从 ocssd.log 判断是真驱逐还是心跳抖动误报

ocssd.log 里高频出现 missed heartbeat from node X 不等于节点已被驱逐。真正驱逐的铁证只有两行:

Agent Git Oracle
Agent Git Oracle

高级仓库分析与重构指南。基于AI推理识别技术债务与架构反模式。

下载
  • node eviction initiatedEviction initiated for node X
  • 紧接着的 rebooting node X

如果这两行缺失,只是反复报 missed checkins,大概率是 ocssd.bin 自身卡死(比如 CPU 占满、线程阻塞),而非网络或磁盘问题。

关键区分点:

  • 同时丢失 networkdisk 心跳,但 node eviction initiated 延迟出现 → 优先查 ps -ef | grep ocssd.bintop -p $(pgrep ocssd)
  • 只丢 disk heartbeats(日志含 Lost 2 disk heartbeats)→ 立即跑 iostat -x 1,看 %util > 95await > 50ms,重点查 ASM 磁盘组 I/O
  • 只丢 network heartbeat → 检查私网交换机 CRC 错误、MTU 是否一致(尤其 VMware 中混用 e1000/vmxnet3)、防火墙是否拦截 UDP 12500–12600 端口

调 misscount 和 disktimeout 是权宜之计,不是根治手段

misscount 默认 30(≈30 秒中断容忍),但它不是“延迟容忍值”,而是“允许连续丢包次数”;disktimeout 默认 200ms,只控制表决盘 I/O 超时,和网络心跳无关。

调整前必须确认底层稳定,否则只是掩盖问题:

  • disktimeout 改大(如设为 500)却无法解决 ASM I/O 队列积压 → 后续仍会失败
  • misscount 调高 → 故障发现变慢,脑裂风险上升;调低 → 把瞬时抖动误判为死亡,尤其在高负载下更易误驱逐
  • crsctl set css misscount <n></n>crsctl set css disktimeout <ms></ms> 必须同步改,且严格满足 disktimeout > misscount,否则磁盘心跳永远来不及响应
  • misscount 需重启 CSSD(crsctl stop crs && crsctl start crs),disktimeout 可热生效但仅对后续 I/O 生效

最常被忽略的一点:misscountdisktimeout 的当前值不能靠文档或记忆,必须现场查——安装或打补丁后它们可能已被隐式重置。运行 crsctl get css misscountcrsctl get css disktimeout 才算数。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
oracle清空表数据
oracle清空表数据

当表中的数据不需要时,则应该删除该数据并释放所占用的空间。本专题为大家提供oracle清空表数据的相关文章,帮助大家解决该问题。

2023.08.16

821

5

Oracle中declare的使用
Oracle中declare的使用

Oracle DECLARE语句是PL/SQL编程语言中用于声明变量、常量、游标或异常的关键字。它的主要作用是在程序中定义这些对象,以便在后续的代码中使用。DECLARE语句的语法简单明了,可以根据需要声明多个对象。通过使用这些声明的对象,可以进行各种操作,如计算、查询数据库、处理异常等 。

2023.09.15

2253

5

oracle怎么分页
oracle怎么分页

实现分页的步骤:1、使用ROWNUM进行分页查询;2、在执行查询之前进行设置分页参数;3、使用"COUNT(*)"函数来获取总行数,并使用"CEIL"函数来向上取整计算总页数;4、在外部查询中使用"WHERE"子句来筛选出特定的行号范围,以实现分页查询。想了解更多oracle怎么分页的文章,可以来阅读本专题先的文章。

2023.09.18

2270

5

Oracle查看表操作历史记录
Oracle查看表操作历史记录

查看操作历史记录的方法:1、使用Oracle内置的审计功能,可以记录数据库中发生的各种操作,包括登录、DDL语句、DML语句等;2、使用Oracle日志文件,其中包含了数据库中发生的各种操作,可以通过查看日志文件来获取操作历史记录;3、使用Oracle的Flashback功能,可以查看数据库在某个时间点的操作历史记录;4、使用第三方工具等。本专题还提供其他查看表操作的文章,大家可以免费阅读。

2023.09.19

1329

3

Oracle中RAC的用法
Oracle中RAC的用法

Oracle中RAC的用法:1、通过在多个服务器上运行数据库实例来提供高可用性;2、允许在需要时增加或减少节点数量;3、通过将工作负载分布到多个节点上来实现负载均衡;4、使用共享存储来实现多个节点之间的数据共享;5、允许多个节点同时处理数据库请求,从而实现并行处理;6、提供了透明故障切换功能;7、使用了一些技术来确保数据的一致性;8、提供了管理工具来简化RAC环境的管理和维护。本专题还提供RAC相关的其他文章,大家可以免费阅读。

2023.09.19

1913

7

oracle imp
oracle imp

imp是Oracle数据库中的一个命令行工具,用于将导出的数据和对象从一个数据库实例导入到另一个数据库实例。imp命令的一般语法为“imp username/password@connect_string file=file_name [options]”。

2023.09.19

2449

4

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4029

19

oracle通配符有哪些
oracle通配符有哪些

oracle通配符有“%”、“_”、“[]”和“[^]"。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.08

237

5

oracle四舍五入怎么操作
oracle四舍五入怎么操作

oracle四舍五入操作可以使用ROUND函数来实现,其语法为“ROUND(number, decimal_places)”,其中,number是要进行四舍五入的数值,decimal_places是指定的小数位数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.14

626

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程