跨az部署rac不能只靠“网络通”是因为az间存在固有延迟与故障域边界,需严控时间同步(chrony±10ms)、禁用swap(vm.swappiness=1)及调优tcp保活(tcp_keepalive_time=600),否则将引发心跳超时、asm挂载失败、vip异常漂移等深层故障。
为什么跨az部署rac节点不能只靠“网络通”就完事
跨azure可用性区域(az)部署oracle 19c rac,本质是把传统机房级rac的“物理隔离”搬到云上——但云的az不是机房的简单复制。真实踩坑点在于:心跳超时、asm磁盘挂载失败、vip漂移异常,几乎都源于对az间网络延迟和故障域边界的误判。azure官方明确标注az间延迟
关键判断:必须显式调大misscount和disktimeout,且不能只改OCR参数,还要同步调整ASM实例的_asm_disk_repair_time(默认3.6h,云环境建议缩至1h以内)。
-
crsctl modify resource "ora.cssd" -attr "CHECK_INTERVAL=30,FAILURE_THRESHOLD=3"(避免CSSD因偶发延迟误判) - 在每个节点的
$GRID_HOME/crs/install/s_crsconfig_defs里追加CRS_DISK_TIMEOUT=600(单位秒) - ASM磁盘组创建时强制指定
ATTRIBUTE 'disk_repair_time'='3600',否则新建磁盘组沿用默认值
共享存储怎么选:Azure NetApp Files vs 托管磁盘+多路径
跨AZ的RAC最脆弱环节永远是存储。Azure不提供原生跨AZ共享块存储,所以必须绕过“单点故障”陷阱。NetApp Files(NFSv4.1)看似方便,但Oracle官方文档明确警告:ASM does not support NFS-based storage for OCR/Voting disks——这意味着OCR磁盘只能放本地托管磁盘,而DATA磁盘若混用NFS,会导致Cache Fusion性能断崖下跌。
生产推荐组合:OCR/Voting磁盘用Ultra SSD托管磁盘(每个AZ各3块,NORMAL冗余),DATA/ARCHIVE磁盘用Azure NetApp Files(启用FlexCache加速),并通过asmcmd afd_label统一纳管。注意NetApp需开启nfsv41协议并禁用noac挂载选项,否则ASM无法识别写时复制语义。
- 挂载命令必须含
nfsvers=4.1,hard,intr,rsize=1048576,wsize=1048576,sec=sys - 验证命令:
asmcmd lsdg中STATE列必须为MOUNTED,且TYPE显示EXTERN(非NORMAL)才表示NFS路径生效 - 切勿在NetApp卷上启用
snapshot policy自动快照——会干扰ASM的disk heartbeat机制
ADG备库必须和主库同AZ部署?错,但切换逻辑要重写
很多人误以为RAC到RAC ADG必须主备同AZ才能低延迟同步,其实Azure跨AZ Data Guard的RPO可稳定控制在秒级(实测LOG_ARCHIVE_DEST_2使用SYNC AFFIRM时平均1.2s)。真正的问题在于:当主库所在AZ整体故障时,传统switchover命令会卡在等待远程节点响应,导致切换超时。
解决方案是放弃DGMGRL交互式切换,改用预置脚本+Azure事件网格(Event Grid)触发。核心逻辑:监听Microsoft.Resources.ResourceWriteFailure事件(AZ中断信号),自动执行ALTER DATABASE COMMIT TO SWITCHOVER TO PHYSICAL STANDBY WITH SESSION SHUTDOWN,再强制启动备库。这要求备库RAC所有节点预配置srvctl start database -d <db_name> -o mount</db_name>权限,并关闭REDO TRANSPORT的自动重试(LOG_ARCHIVE_DEST_STATE_2=DEFER需手动干预)。
- 备库监听器必须绑定
SCAN IP而非单节点VIP,否则应用连接会因DNS缓存失效 - 主库
log_archive_dest_2必须设VALID_FOR=(ONLINE_LOGFILES,PRIMARY_ROLE),否则AZ中断后归档无法自动切到本地磁盘 - 测试切换前,先用
sqlplus / as sysdba执行SELECT * FROM V$DATAGUARD_STATS WHERE NAME='apply lag';确认无累积延迟
最容易被忽略的细节:时间同步和内核参数云适配
云环境的NTP服务(如Azure NTP)虽标称精度±10ms,但RAC节点间时钟偏移>500ms就会导致ORA-00600: internal error code, arguments: [kgxgncv2]。更隐蔽的是,Azure虚拟机默认启用chronyd的makestep模式,会在检测到大偏差时跳变时间——这会让Oracle Clusterware误判为“系统重启”,触发全集群reboot。
必须禁用跳变,改用渐进校正:echo "makestep 1.0 -1" >> /etc/chrony.conf,并添加rtcsync确保硬件时钟同步。内核参数方面,vm.swappiness=1(非0)和net.ipv4.tcp_keepalive_time=600是硬性要求——前者防止内存压力下Oracle PGA被swap,后者避免AZ间长连接被Azure LB静默断开。
- 验证命令:
chronyc tracking输出的Offset应稳定在±10ms内,Leap status为Normal - 所有节点执行
sysctl -w vm.swappiness=1后,必须写入/etc/sysctl.conf持久化 - 重启
chronyd服务后,用strace -e trace=recvfrom,sendto -p $(pgrep -f "ora_pmon")抓包确认无EAGAIN错误
跨AZ RAC的稳定性不在配置多华丽,而在把每个“理所当然”的假设都拆开验证:网络延迟是否真恒定、存储挂载是否真原子、时间跳变是否被拦截。这些点一旦漏掉一个,故障时的表现就是节点反复驱逐、ASM磁盘莫名offline、ADG日志堆积——表面看是Oracle问题,根子在云基础设施和数据库层的契约没对齐。











