Linux怎么排查Ceph集群报nearfull接近满载告警阻断数据写入

风强吖_1689

风强吖_1689

2026-11-08

385人浏览

原创

nearfull告警本身不阻断写入,真正停写的是full状态、ceph osd pause、PG backfill_toofull或peering失败;需用ceph health detail、ceph osd dump | grep paused、rados df -p等命令精准定位根因,而非盲目调阈值或权重。

linux怎么排查ceph集群报nearfull接近满载告警阻断数据写入

直接结论:nearfull 告警本身不会阻断写入,但伴随的 full 状态、OSD reweight 失败、PG backfill_toofull 或 osd pause 才会真正停写——得先分清是“告警”还是“实际写入失败”。

确认到底是 nearfull 还是 full 导致写入失败

很多运维一看到 nearfull osd(s) 就急着调权重,结果发现写入还是卡住。这是因为 nearfull 只触发 HEALTH_WARN,而真正阻断写入的是 full(HEALTH_ERR)或人工执行了 ceph osd pause。

  • 运行 ceph health detail,重点看有没有 full osd(s) 或 pool(s) full 字样;
  • 检查是否有 osd pause:执行 ceph osd dump | grep paused,输出非空即表示写入已被手动暂停;
  • 查 pool 容量:用 radosdf -p {pool_name} 看实际使用率,注意它和 ceph osd df 的单位可能不一致(前者按对象计,后者按磁盘块);
  • 别只信告警文本——ceph -s 输出里的 health: 行才是权威状态。

为什么调高 mon-osd-nearfull-ratio 常常没用

临时抬高阈值(比如从 0.85 改到 0.96)能压住告警,但解决不了根本问题:数据分布不均。如果某几个 OSD 实际使用率已达 92%,再把 nearfull 阈值提到 0.97,只会让问题延后爆发,且可能掩盖 PG backfill_toofull 卡死。

  • 调整命令必须同时发给 mon 和 osd:仅改 mon 配置,OSD 不会自动 reload;
  • 执行 ceph tell mon.* injectargs "--mon-osd-nearfull-ratio 0.96" 后,立刻用 ceph --admin-daemon /run/ceph/ceph-mon.IP.asok config show | grep nearfull 验证是否生效;
  • PG 层也有独立阈值:ceph pg set_nearfull_ratio 0.96,漏掉这步,PG 状态仍可能报 stuck;
  • 更危险的是:盲目调高 full_ratio 到 0.97+,一旦某个 OSD 真达到 98%,CRUSH 无法再迁移数据,backfill_toofull 会雪球式增长。

数据不均衡时,ceph osd reweight-by-utilization 为什么有时失效

这个命令本质是按当前利用率反推权重,但它依赖 CRUSH map 的拓扑结构和 PG 分布逻辑。当 OSD 已 nearfull,新 PG 往它上面映射的概率极低,reweight 后数据迁移速度会非常慢,甚至卡在 backfill_toofull。

Linuxdo Application
Linuxdo Application

为 Linux.do 注册撰写高通过率、去 AI 化的中文小作文。进行自适应调查以了解申请人的真实背景,...

下载
  • 先执行 ceph osd set noout 和 ceph osd set nodeep-scrub,避免迁移过程中触发额外 IO 压力;
  • 参数不是随便填:若 ceph osd df | sort -nk7 | tail -5 显示 top5 OSD 利用率方差(var)为 1.22,就该用 ceph osd reweight-by-utilization 122,而不是拍脑袋写 110;
  • 对已卡住的 PG(如 2.689),用 ceph pg map 2.689 查出它的 up_set(比如 osd.153 在其中),再单独降权:ceph osd crush reweight osd.153 0.75;
  • 权重不能低于 0.1,否则 CRUSH 认为该 OSD 不可用,可能引发 PG unfound。

真正卡写入时,最该盯住的三个地方

写入阻塞往往不是单一原因,而是多个环节叠加。优先检查这三项,比反复调 ratio 更有效:

  • ceph pg dump_stuck inactive:如果有 PG 卡在 inactive,说明 peering 失败,所有写请求会 hang 在该 PG 上;
  • ceph osd perf:看 commit_latency_ms 和 apply_latency_ms 是否持续 >500ms,超高延迟的 OSD 很可能是慢盘或 IO 饱和;
  • ceph daemon osd.x dump_ops_in_flight:挑一个疑似卡住的 OSD,看当前操作里有没有大量 op_type: write 停在 waiting_for_map 或 waiting_for_backfill 状态。

复杂点在于:nearfull 是表象,背后可能是某块 SSD 老化导致写放大、也可能是网络抖动让 backfill 持续失败、还可能是 CRUSH rule 设置了错误的 failure domain 导致数据只能往少数 OSD 上挤——得一层层剥开,不能只盯着告警文本改数字。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4450

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3733

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

3033

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

7510

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

7142

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

4053

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3545

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3799

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习