必须立即定位Rook-Ceph存储池PG降级根因，常见原因包括副本丢失、OSD故障、CRUSH映射异常或网络隔离；需通过ceph status、osd pool ls detail、pg dump_stuck等命令逐层排查，并按恢复OSD、修复PG、剔除故障OSD顺序处理。
当 Kubernetes 集群中 Rook-Ceph 存储池出现 PG 处于 active+degraded 状态、写入卡顿、PVC 挂载失败或 ceph status 显示 HEALTH_WARN 且提示 pool ... is degraded 时，必须立即定位降级根因——这通常意味着部分副本丢失、OSD 故障、CRUSH 映射异常或网络隔离，不及时处理将导致数据不可用风险。
确认降级范围与具体池
执行 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status，观察输出中 pgmap 行的 degraded 数值及警告信息。若显示 pool 'replicapool' pg_num 128 has too few pgs 或 degraded: 12/192 objects，说明该池已发生实际数据副本缺失。
运行 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd pool ls detail，找到目标池的 size（副本数）和 min_size 值。例如 size 3 min_size 2 表示需至少 2 个副本在线才能写入；若当前在线 OSD 数＜min_size，该池将彻底拒绝写入。
【关键前提】必须确保 rook-ceph-tools Pod 处于 Running 状态且能连通 Ceph monitor；若其 CrashLoopBackOff，先用 kubectl -n rook-ceph get pod -l app=rook-ceph-tools 检查并重启它，否则所有后续命令均无效。
定位降级 PG 及对应 OSD
执行 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph pg dump_stuck inactive,unclean,degraded --format json-pretty，筛选出状态为 degraded 的 PG ID（如 3.1a）。
对任一降级 PG 执行深度查询：kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph pg 3.1a query，在返回 JSON 中重点查看 acting（当前服务副本列表）与 up（应在线副本列表）字段是否一致；若不一致，说明有 OSD 被标记为 down 但未从 CRUSH map 移除。
运行 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd tree | grep -A5 -B5 down，直接定位已宕机的 OSD 编号（如 osd.5）及其所在节点。若该节点状态为 NotReady，则降级由节点失联引发；若节点 Ready 但 OSD 进程未运行，需登录该节点执行 systemctl status ceph-osd@5 查看日志。
检查 OSD 状态与磁盘健康
方法一：快速汇总
执行 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd stat，确认 up:N 与 in:N 是否相等。若 up ，说明有 OSD 进程崩溃但仍在集群注册表中，必须手动 ceph osd out 再 ceph osd down 。
方法二：逐个验证磁盘可用性
对每个 up 状态为 false 的 OSD，运行 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd metadata ，检查 device_ids 和 rotational 字段是否存在。若返回空或报 error connecting to，说明该 OSD 对应的裸盘已被卸载、损坏或被 udev 规则屏蔽。
注意：Rook 默认使用 /var/lib/rook/osd- 目录挂载设备；若节点上该路径下无 block.db 或 block.wal 文件，且 lsblk 查不到对应磁盘，基本可判定物理介质故障。
修复降级状态（按优先级顺序执行）
第一步：恢复离线 OSD（若硬件正常）
登录对应节点 → 执行 systemctl start ceph-osd@ → 等待 30 秒 → 在 tools 容器中运行 ceph osd in → 观察 ceph -s 中 degraded 计数是否下降。
第二步：强制恢复 PG（仅当确认副本数据完整）
若 PG 卡在 degraded 但所有 acting OSD 均在线，执行 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph pg repair 。该操作会触发数据比对与修复，耗时取决于对象大小，期间可能短暂影响 IO 性能。
第三步：剔除永久故障 OSD
若磁盘已损坏且无法恢复，必须先 ceph osd out → ceph osd down → ceph osd purge → 删除节点上 /var/lib/rook/osd- 目录 → 修改 Rook Cluster CR 中对应节点的 devices 列表移除该盘 → 触发 Rook 自动重建新 OSD。
