oracle 11g rac中仅靠multipath.conf的alias无法满足asm要求,必须用udev基于dm_name创建/dev/asm-*字符设备节点并设grid:asmadmin权限,否则asm实例因裸i/o失败而无法启动。
oracle 11g rac 中,multipath 本身不保证 asm 磁盘设备名在重启后稳定 —— 它只生成 /dev/mapper/mpathx 这类名称,而 asm 依赖的是路径一致、权限可控、名字不变的设备节点(如 /dev/asm-disk1)。必须配合 udev 规则做映射,否则 asmca 扫描不到磁盘、或扫描错盘,集群起不来。
为什么不能只靠 multipath.conf 的 alias?
multipath.conf 中的 alias(比如 alias db1)只影响 /dev/mapper/db1 的软链接名,但这个路径不是 ASM 支持的“原始设备”(raw device),且每次 multipathd reload 或重启后,/dev/mapper/ 下的设备节点可能延迟出现、权限不对、或被其他服务干扰。ASM 要求设备:① 主次设备号固定;② 所有节点上路径完全一致;③ grid 用户可读写。仅靠 alias 无法满足这三点。
-
/dev/mapper/db1是 device-mapper 创建的逻辑设备,属于块设备,但 ASM 在 11g 中更倾向使用原始设备(/dev/asm-*)或通过 udev 绑定的符号链接 -
alias不控制设备属主、权限、创建时机,udev才能精确干预内核事件触发后的设备节点行为 - RAC 多节点环境下,不同节点的
multipath -ll输出顺序可能不一致,导致 alias 名称对应物理盘错位
怎样写可靠的 udev 规则绑定 multipath 设备?
核心思路:用 multipath 设备的 DM_NAME(即 alias)作为匹配条件,在 /dev/asm-* 下创建固定路径,并设好属主和权限。规则必须放在 /etc/udev/rules.d/99-asm.rules(数字足够大,确保在 multipath 规则之后执行)。
- 先确认 multipath 设备已识别并有 alias:
multipath -ll | grep "dm-.*mpath",找到类似mpatha (36001405...)及其 alias(如db1) - 检查当前 DM_NAME 值:
udevadm info --name /dev/mapper/db1 | grep DM_NAME,输出应为E: DM_NAME=db1 - 写规则(以
db1为例):ENV{DM_NAME}=="db1", SYMLINK+="asm-disk1", OWNER="grid", GROUP="asmadmin", MODE="660" - 若需区分用途(如 vote disk、OCR、data),按 alias 分别写多行,例如:
ENV{DM_NAME}=="vot1", SYMLINK+="asm-disk-vote", ... - 不要用
NAME=或直接改/dev/sdX,那是底层路径,不稳定;必须基于DM_NAME或DM_UUID
常见 udev 错误及验证方法
规则写完不生效,90% 是因为没触发重载或匹配失败。不要依赖重启,用命令逐级验证。
-
udevadm control --reload-rules后,必须运行udevadm trigger --subsystem-match=block --action=add,否则新规则不会应用到已有设备 - 验证是否命中规则:
udevadm test /sys/block/dm-0 2>&1 | grep -A5 -B5 "asm-disk1"(把dm-0换成你实际的 multipath 设备 sysfs 路径) - 检查最终设备是否存在且权限正确:
ls -l /dev/asm-*,应看到grid:asmadmin和crw-rw----(注意:ASM 11g 要求字符设备权限,所以规则里MODE="660"生成的是字符设备节点) - 错误现象:
asmca扫不到盘 → 检查oracleasm listdisks是否为空 → 再查/dev/asm-*是否存在 → 最后查 udev 日志:journalctl -u systemd-udevd | tail -20
为什么 /dev/asm-* 必须是字符设备而非块设备?
Oracle 11g RAC 的 ASM 实例在启动时,会通过 libasm 直接调用 O_DIRECT 打开设备。它要求设备支持裸 I/O,而 RHEL/CentOS 6/7 上,只有 udev 创建的字符设备节点(c 类型)才能被 ASM 正确识别为“原始磁盘”。如果你用 SYMLINK+= 指向块设备(b 类型),oracleasm scandisks 可能成功,但 ASM 实例启动时报 ORA-15018: diskgroup cannot be created 或 ORA-15032: not all alterations performed —— 因为底层驱动拒绝裸 I/O 到块设备。
- 确认类型:
ls -l /dev/asm-disk1,开头应是crw-rw----,不是brw-rw---- - 若生成了块设备,说明规则中漏了
MODE="660"或用了OWNER/GROUP但没配 MODE,udev 默认创建块设备节点 - 11g 严格依赖此行为;12c+ 开始才逐步支持块设备,但 11g 环境下必须守住这条线











