裸盘不能直接用 ceph-volume lvm create,因为该命令要求设备“干净”,不自动清除残留的分区表、文件系统或 lvm 签名;若存在 ext4/xfs/zfs/raid/lvm 等元数据,会报错拒绝创建,属保护机制而非 bug。

直接在裸物理磁盘上初始化 OSD,必须先清空磁盘元数据(包括分区表、文件系统签名、LVM 标签等),否则 ceph-volume 会拒绝创建;用 ceph-deploy disk zap 或 ceph-volume lvm zap 都行,但后者更贴近现代部署逻辑。
为什么裸盘不能直接用 ceph-volume lvm create?
因为 ceph-volume lvm create 默认要求底层是“干净”的 PV(物理卷)或未格式化的块设备,但它不会自动擦除已有元数据。如果磁盘曾被用作 LVM、ext4、XFS、ZFS 甚至 RAID 成员,残留的签名会导致创建失败,典型错误是:
RuntimeError: Device /dev/sdb is not a valid LVM PV
或更隐蔽的:
Device has an existing signature (e.g., filesystem or LVM)
这不是 bug,而是保护机制——Ceph 不想覆盖你误选的生产盘。
- 必须手动清除:用
sgdisk --zap-all /dev/sdb彻底抹掉 GPT/MBR 和所有分区 - 再用
wipefs -a /dev/sdb清除所有文件系统签名(如 ext4 superblock、xfs magic) - 若该盘曾属 LVM,额外执行
pvremove -ff /dev/sdb(即使pvdisplay不显示,也可能残留)
ceph-volume lvm create 和 ceph-volume raw create 怎么选?
两者都支持裸盘,但适用场景不同:
-
ceph-volume lvm create:默认路径,把裸盘初始化为 LVM PV → VG → LV,OSD 数据存在 LV 上;兼容性好,支持在线调整 LV 大小(虽然不推荐频繁做),日志/Journal 可单独放 SSD(用--block-db) -
ceph-volume raw create:跳过 LVM,直接在裸盘上建 XFS 文件系统并挂载,OSD 数据直写设备;性能略高(少一层映射),但无法动态扩容,且要求内核支持blk-mq和较新 XFS 版本(≥ 4.18) - 生产环境仍推荐
lvm create,除非你明确需要 raw 的低延迟或已禁用 LVM
初始化命令里哪些参数不能漏?
以最常用的安全组合为例(NVMe 日志盘 + SATA 数据盘):
ceph-volume lvm create \ --data /dev/sdb \ --block-db /dev/nvme0n1p1 \ --crush-device-class hdd
-
--data必须是裸设备路径(/dev/sdb,不是/dev/sdb1) -
--block-db指向高速设备上的分区(推荐独立分区而非整盘,避免干扰) -
--crush-device-class要显式指定,否则默认为None,后续 CRUSH rule 无法按类型调度 - 不要加
--osd-id:ID 由 Ceph 自动分配,手动指定易冲突
执行后,你会看到 osd.X 自动注册进集群,ceph osd tree 中状态为 up/in,且 ceph-volume lvm list 显示对应 LV 信息。
systemd 服务怎么启动?
初始化成功后,ceph-volume 会自动生成对应 unit 文件,但不会自动 enable/start:
- 检查是否生成:
systemctl list-units | grep ceph-osd@应出现ceph-osd@X.service - 启用并启动:
systemctl enable ceph-osd@X && systemctl start ceph-osd@X - 验证:
systemctl status ceph-osd@X看是否 active (running),同时ceph osd stat中up数量应增加 - 注意:如果 OSD 启动失败,90% 是因为
/var/lib/ceph/osd/ceph-X/目录权限不对(应属ceph:ceph)或挂载点未就绪
裸盘初始化本身不复杂,难的是清理彻底性和后续 systemd 生命周期管理——很多人卡在服务起不来,其实只是忘了 chown ceph:ceph /var/lib/ceph/osd/ceph-X 这一步。











