Linux怎么在虚拟化环境中配置多节点CephNTP全局时钟源一致性

冬静大大_6077

冬静大大_6077

2026-10-23

920人浏览

原创

ceph集群时间同步是硬性要求,所有节点偏差必须控制在±50ms内;必须使用chronyd而非ntpd或systemd-timesyncd,因其支持快速校正、漂移补偿和断网重试;需构建内网两级ntp架构,并在bootstrap前执行chronyc makestep强制校准。

linux怎么在虚拟化环境中配置多节点cephntp全局时钟源一致性

虚拟化环境中部署 Ceph,时间不同步会导致 OSD 状态抖动、PG 不一致、MGR 服务异常,甚至引发数据丢失。必须让所有节点(包括 MON、MGR、OSD、client)与同一高精度时间源保持 ±50ms 以内偏差——这不是“建议”,是 Ceph 官方硬性要求。

为什么不能只用默认 NTP 或 systemd-timesyncd

Ceph 节点多为虚拟机或容器宿主机,网络延迟波动大、可能休眠、时钟漂移快。默认的 systemd-timesyncd 是 SNTP 客户端,无频率补偿能力;传统 ntpd 启动慢、对大偏差响应迟钝,且在虚拟化中易受 host clock skew 影响。实测中,ntpd 在 VM 克隆后首次启动常需 15 分钟以上才能收敛到 ±100ms,而 Ceph bootstrap 阶段就可能失败。

必须用 chronyd,它支持:
– 快速初始同步(makestep 可秒级校正数分钟偏差)
– 持续补偿硬件时钟漂移(driftfile 记录长期偏移率)
– 对间歇性网络断连有重试和缓存机制
– 与 Cephadm 的 systemd 服务生命周期天然兼容

配置 chrony 作为全局时钟源(含内网层级)

直接让所有 Ceph 节点连公网 NTP 服务器风险高(策略限制、DNS 不稳、丢包率高)。应构建两级结构:

  • 选 1–2 台物理机或高可用虚拟机作为内网 stratum 2 时间源,它们同步公网权威源(如 time1.tencentyun.com、ntp.aliyun.com)
  • 所有 Ceph 节点(含 cephadm 管理节点)只指向这台内网源,不直连公网

内网源配置关键项(/etc/chrony.conf):

server time1.tencentyun.com iburst minpoll 4 maxpoll 6
server ntp.aliyun.com iburst minpoll 4 maxpoll 6
allow 192.168.10.0/24  # 替换为你的 Ceph 管理/集群网络段
bindcmdaddress 127.0.0.1
bindcmdaddress ::1

客户端节点(所有 Ceph 节点)配置只需保留一行:

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载
server 192.168.10.10 iburst  # 内网时间源 IP

务必禁用其他时间服务:

  • sudo systemctl stop ntpd && sudo systemctl disable ntpd
  • sudo systemctl stop systemd-timesyncd && sudo systemctl disable systemd-timesyncd

cephadm 部署前必须完成的强制校准步骤

Cephadm bootstrap 过程会检查本地时间,若偏差 > 0.5s 直接报错退出,错误信息类似:RuntimeError: Clock skew detected。不能依赖 chronyd 后台自动收敛。

在运行 cephadm bootstrap 前,每台节点必须执行:

  • 确保 chronyd 已启动:sudo systemctl enable --now chronyd
  • 立即强制校准(跳过平滑调整):sudo chronyc makestep —— 这条命令只有在 makestep 配置允许大步长时才生效,因此需提前在 /etc/chrony.conf 加入:makestep 1 -1
  • 验证结果:chronyc tracking | grep "Offset\|Skew",确认 Offset 50ms,Skew 1000 ppm
  • 同步硬件时钟(避免重启后回退):sudo hwclock --systohc

注意:chronyc makestep 默认只对 >1s 偏差生效,makestep 1 -1 表示“对任意大于 1 秒的偏差都允许跳跃式校正”,这是 Ceph 场景必需的配置。

验证与持续监控要点

Ceph 集群上线后,时间一致性不是“一劳永逸”。需定期检查:

  • 用 ceph status 查看是否有 CLOCK_SKEW health warning
  • 登录各节点执行:chronyc sources -v(确认有 * 标记的活动源)、chronyc tracking(关注 Offset 和 Last offset)
  • 在管理节点上批量检查:ceph orch host ls --format json-pretty | jq -r '.[].hostname' | xargs -I{} ssh {} 'chronyc tracking | head -3'

最容易被忽略的是:Ceph OSD 进程启动时读取一次系统时间,之后不主动刷新;如果 chronyd 后期因网络中断失联超过数小时,OSD 内部计时可能已漂移,但 ceph -s 不报警。必须依赖外部巡检,而非仅信 ceph health。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4150

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3513

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2733

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6690

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

6342

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3673

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3165

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3399

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习