PVE怎么配置多节点物理集群并接入共享Ceph统一存储池

老静姑娘_2705

老静姑娘_2705

2026-11-04

832人浏览

原创

PVE集群要求所有节点时间同步、UDP 5404/5405端口互通、TCP 22端口SSH可达;还需同版本PVE、主机名与IP唯一、集群网络延迟低于2ms,且加入后禁止修改主机名、IP及集群名。

pve怎么配置多节点物理集群并接入共享ceph统一存储池

物理节点必须满足哪些基础条件才能加入PVE集群

不是所有能装PVE的机器都能进集群。核心限制有三个:pve-cluster 服务依赖 corosync,要求所有节点时间偏差 chrony 必须同步到同一源)、主机名唯一且可被互相解析(/etc/hosts 或 DNS)、SSH 免密 root 登录已配置(ssh-copy-id root@node2)。常见错误是节点间 ping 通但 corosync 启动失败,大概率是防火墙没放行 UDP 5404/5405 端口,或 SELinux 处于 enforcing 模式(PVE 不支持 SELinux,需设为 disabled)。

初始化集群后如何安全添加新节点

主节点执行 pvecm add 是最简方式,但实际中容易因网络延迟或证书不一致失败。建议分步操作:

  • 在待加入节点上先运行 pvecm expected 1(避免 quorum 误判)
  • 主节点执行 pvecm add 前,确认 /etc/pve/corosync.conf 中 totem.interface.bindnetaddr 设置的是本机直连网段(不是 Docker 网桥或 NAT 地址)
  • 添加成功后,立刻在所有节点运行 pvecm status 验证 quorum 为 1 且 nodes 列出全部主机名
  • 不要用 pvecm delnode 删除离线节点,应先关机再执行,否则残留锁可能阻塞后续操作

Ceph OSD 节点与 PVE 计算节点是否要分离

生产环境强烈建议分离。Ceph OSD 进程对磁盘 I/O 和 CPU 调度敏感,和 KVM/QEMU 共享同一物理节点时,容易出现存储延迟毛刺、rbd map 超时、甚至 ceph health WARN 报 OSD_DOWN。若资源受限必须复用,至少做到:

ModelScope
ModelScope

一个面向AI开发者的开源模型与数据社区,提供模型、数据集和相关工具资源,方便用户探索、使用和开发人工智能应用。

下载
  • OSD 使用独立 NVMe/SATA SSD,绝不与系统盘或 VM 磁盘混用同一块物理盘
  • 在 Ceph 配置中启用 osd_cpu_threads = 2(默认为 0,即不限制),避免 OSD 吃光 CPU
  • PVE 中创建虚拟机时,磁盘总线选 virtio-scsi + 启用 cache=none 和 io=native,绕过 host page cache 干扰 Ceph 的 direct I/O

如何让 PVE GUI 正确识别并挂载 CephFS 或 RBD 池

Web 界面里看不到 Ceph 存储?不是配置漏了,而是 PVE 默认只自动发现名为 rbd 的池。其他池名(如 vm-data)必须手动注册:

  • 登录主节点终端,运行 pvesm add rbd --pool --username admin --monhost '10.10.10.1,10.10.10.2,10.10.10.3'
  • --monhost 必须填 Ceph monitor IP 列表(逗号分隔,无空格),不能写域名(除非所有节点 /etc/hosts 都配齐)
  • 如果 Ceph 启用了 CRUSH rule 或自定义 PG 数,PVE 创建镜像时可能报 pg_num 128 not suitable —— 此时需在 Ceph 侧先运行 ceph osd pool set pg_num 256(必须是 2 的幂)
  • RBD 存储类型无法直接挂载 CephFS,如需文件系统语义,得额外部署 CephFS 客户端并用 pvesm add cephfs 注册,但该类型仅支持模板上传/下载,不能作为 VM 磁盘后端

真正麻烦的不是配置步骤,而是 Ceph monitor 与 PVE corosync 对网络稳定性的双重苛刻要求——一个丢包,就可能同时触发 corosync timeout 和 ceph mon election,导致集群反复震荡。上线前务必用 mtr -r -c 100 和 mtr -r -c 100 同时压测双路径。

相关专题

更多
Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

2026.11.03

0

18

Docker Desktop镜像构建教程
Docker Desktop镜像构建教程

想使用Docker Desktop将本地项目构建成Docker镜像?本专题围绕镜像构建的实际操作展开,介绍Dockerfile编写、构建命令使用、镜像标签设置和构建日志查看等内容,同时整理镜像无法生成、依赖安装失败及构建缓存异常等问题的排查思路。

2026.11.03

0

11

Docker Desktop容器创建指南
Docker Desktop容器创建指南

本专题聚焦Docker Desktop容器创建与运行配置,介绍通过本地镜像或远程镜像创建容器的方法,以及容器启动、终端访问、日志查看和基础管理等操作。针对端口冲突、参数配置不当、容器无法启动等情况,也整理了相应的排查方向。

2026.11.03

0

11

Tailwind CSS 如何制作导航栏和卡片
Tailwind CSS 如何制作导航栏和卡片

用 Tailwind CSS 制作导航栏和卡片,可先搭建语义化结构,再组合 Flex、Grid、间距、圆角与阴影类。这里整理横向导航、移动端菜单、卡片网格及悬停效果的相关文章,帮助你把常见页面组件做得清晰且适配不同屏幕。

2026.11.03

0

17

Tailwind CSS 响应式布局怎么写
Tailwind CSS 响应式布局怎么写

Tailwind CSS 响应式布局通常从移动端样式写起,再用 sm、md、lg 等前缀调整不同屏幕宽度下的网格、间距和导航。本专题整理断点配置、Grid 与 Flex 自适应布局及常见溢出问题,帮助你逐步完成多设备适配。

2026.11.03

0

19

Tailwind CSS 常用类名怎么记
Tailwind CSS 常用类名怎么记

Tailwind CSS 类名很多,先按布局、间距、文字、颜色和状态分组记忆,再通过官方文档检索具体写法。本专题结合类名排序、动态拼接失效、自定义实用类等问题,帮助你建立常用类名的速查方法。

2026.11.03

0

12

码上飞入口地址合集
码上飞入口地址合集

本专题汇总了码上飞(CodeFlying)的官方入口地址合集,涵盖官网主站及网页版在线使用入口,支持注册登录后直接在线体验零代码AI应用生成。同时整理了APP端下载渠道与小程序入口,助你快速访问平台,通过自然语言描述需求即可生成应用、小程序或网站。

2026.11.03

0

10

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

2026.11.02

20

14

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

2026.11.02

40

17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习