Ceph怎么排查OSD处于Down或Out状态无法自动上线

陌浩小哥_5706

陌浩小哥_5706

2026-11-06

616人浏览

原创

根本原因是OSD进程未运行或未被集群识别;需依次检查systemctl状态、journal日志、设备路径漂移(尤其SSD)、网络连通性、时间同步及元数据一致性。

ceph怎么排查osd处于down或out状态无法自动上线

OSD 处于 down 或 out 状态却无法自动上线,根本原因几乎总是「OSD 进程没起来」或「起来了但没被集群识别」,而不是配置或策略问题。自动上线只在特定条件下触发(如网络恢复、进程重启后主动注册),它不会“猜”你是不是修好了磁盘或改对了地址。

确认OSD进程是否真在运行

很多人看到 ceph osd tree 显示 down,第一反应是调 ceph osd in,但其实进程可能压根没跑起来。

  • 在对应节点执行 systemctl status ceph-osd@(例如 ceph-osd@1),看是否为 active (running);若显示 inactive (dead) 或 failed,说明服务根本没启动
  • 检查 journalctl -u ceph-osd@ -n 100 --no-pager,重点搜 device not found、permission denied、failed to bind、crush location parse error
  • 特别注意:如果用 ceph-volume lvm activate 启动,得再看 /var/lib/ceph/osd/ceph-/stderr,里面常有更底层的错误(比如 LVM LV 找不到、XFS mount 失败)

检查设备路径是否漂移(尤其 SSD/NVMe 场景)

SSD 盘符漂移是 down 后无法恢复的最隐蔽高频原因——设备还在,但 OSD 找不到它了。

  • 执行 ls -l /dev/disk/by-id/,对比当前实际设备名(如 nvme-eui.002538594c1234567890)和 OSD 元数据中记录的路径(/var/lib/ceph/osd/ceph-/block 是个 symlink,readlink 它)
  • 若 symlink 指向的 /dev/sdb 已不存在,而真实设备现在是 /dev/sdc,说明盘符漂移了;此时不能直接 ln -sf 修复,必须用 ceph-volume lvm activate --force 重新绑定持久 ID
  • 验证方式:ceph-volume lvm list 输出里 devices 字段应显示 by-id 路径,而非 /dev/sdX

验证 OSD 是否能与 Monitor 正常通信

OSD 进程起来了,也绑对了设备,但仍是 down,大概率卡在心跳环节。

ChatSonic
ChatSonic

ChatSonic是一款AI工具,WriteSonic出品的ChatGPT竞品。

下载
  • 检查 ceph.conf 中该 OSD 的 public_addr 和 cluster_addr 是否指向当前节点的真实 IP(不是 127.0.0.1,也不是已失效的网卡别名)
  • 在 OSD 节点上执行 telnet 6789(Monitor 端口)和 telnet 6800(OSD 数据端口,用于其他 OSD 通信),确认端口可达
  • 检查防火墙:iptables -L -n | grep 6789 或 ufw status,Ceph 默认需要开放 6789(MON)、6800–7300(OSD)范围
  • 注意时钟偏移:若节点时间比 Monitor 快/慢 > 0.5s,OSD 会拒绝加入;用 chronyc tracking 或 ntpq -p 验证

为什么 ceph osd in 有时无效

手动执行 ceph osd in osd. 只是把 OSD 标记为“允许接收 PG”,不解决底层问题。如果进程没起来、设备找不到、网络不通,它会立刻再次变成 down。

  • in 命令生效的前提是:OSD 进程正在运行,并且已向 Monitor 发送过一次有效 heartbeat(通常在启动后几秒内)
  • 若执行 in 后状态仍不稳,立即查 ceph -w 输出,看是否有 osd. addr ... marking down 类日志——这说明 Monitor 主动踢掉了它
  • 真正该用 in 的场景,是确认所有底层条件都满足后,OSD 却因短暂网络抖动被标记 out,且未自动恢复;此时 in + 等待 30 秒观察即可

最常被忽略的点是:OSD 的元数据(/var/lib/ceph/osd/ceph-/whoami、ceph_fsid、fsid)必须与集群全局一致。一旦误删或覆盖,即使进程跑起来,Monitor 也会拒绝认证——这种情况下 ceph auth get osd. 返回空,且 journal 里会出现 auth: unable to find a key for osd.。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

2026.11.05

20

12

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

2026.11.05

20

12

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

2026.11.04

20

16

XORM框架结构体映射与表结构同步
XORM框架结构体映射与表结构同步

本专题围绕XORM框架的结构体映射展开,说明表名与字段的命名策略、xorm标签常用属性、主键自增与时间字段自动填充,并演示Sync2自动建表、增量字段升级、索引声明与反向生成结构体的完整流程。

2026.11.04

20

15

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

2026.11.04

0

15

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

2026.11.04

0

16

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

2026.11.04

0

16

XORM框架零基础入门教程
XORM框架零基础入门教程

本专题梳理XORM框架的入门路径,从框架定位、依赖安装、连接数据库到跑通第一个增删改查示例,讲清Engine初始化、日志开启与项目目录规划,并对比GORM等同类ORM的差异,帮助Go开发者建立整体认知。

2026.11.04

0

15

Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

2026.11.03

40

18

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习