如何在Docker内挂载Ceph块存储作为容器数据卷存储后端

夜明吖_3154

夜明吖_3154

2026-03-27

287人浏览

原创

Docker中使用Ceph RBD需通过rbd插件或ceph-csi驱动实现;推荐生产环境用ceph-csi+Kubernetes,小规模可用docker-volume-rbd插件;注意权限、内核模块、网络及镜像特性配置。

如何在docker内挂载ceph块存储作为容器数据卷存储后端

在 Docker 中使用 Ceph 块设备(RBD)作为容器数据卷后端,核心是通过 rbd 插件或 ceph-csi 驱动实现持久化存储挂载。Docker 原生不直接支持 RBD 卷类型,需借助第三方插件或转向更主流的 CSI 方案。以下提供两种切实可行、生产可用的方式:

方式一:使用 docker-volume-rbd 插件(轻量级,适合小规模部署)

该插件将 RBD 映射为本地块设备,并创建 ext4/xfs 文件系统供容器挂载。

  • 确保宿主机已安装 ceph-common 和 rbd 工具,并能访问 Ceph 集群(/etc/ceph/ceph.conf 与 /etc/ceph/ceph.client.admin.keyring 可用)
  • 安装插件:docker plugin install --grant-all-permissions ceph/rbd(官方镜像已归档,推荐使用社区维护版如 linode/docker-volume-rbd 或自建构建)
  • 创建 RBD 镜像(如 rbd create rbd/myvol --size 10G --image-feature layering),并确保启用 layering 特性以支持克隆
  • 启动容器时指定卷:docker run -v myvol:/data --volume-driver rbd -it alpine sh,插件会自动映射 RBD 镜像、格式化(首次)、挂载到容器内

方式二:通过 ceph-csi + Docker swarm 或 Kubernetes(推荐用于生产环境)

Docker Engine 本身不原生集成 CSI,但可在 Swarm 模式下配合 csi-plugins 使用,或更稳妥地迁移到 Kubernetes(CSI 是其标准存储接口)。

  • 部署 ceph-csi(v3.8+ 支持 RBD 和 CephFS),配置 CsiDriver、StorageClass 和 Secret(含 Ceph 用户密钥)
  • 在 Kubernetes 中创建 PersistentVolumeClaim,绑定到 RBD backend:storageClassName: rook-ceph-block(示例名)
  • 若坚持用 Docker Swarm,可借助 实验性 CSI 支持 或使用 docker volume create 调用外部卷驱动(需自行封装 CSI 调用逻辑)
  • 注意:RBD 镜像默认为独占读写(RWO),多容器读写需改用 CephFS 或 RBD 的 exclusive-lock 关闭 + 共享文件系统(不推荐)

关键注意事项与排错要点

无论采用哪种方式,以下细节决定是否成功:

  • 权限与密钥:插件或 CSI 容器必须能读取 Ceph client keyring;建议创建专用用户(如 client.rbd-docker)并限制 caps:mon 'profile rbd' mds 'allow rw' osd 'profile rbd pool=rbd'
  • 内核模块支持:宿主机需加载 rbd 模块(modprobe rbd),部分云厂商内核可能禁用;可改用 rbd-nbd 后端(需安装 qemu-nbd)
  • 网络连通性:Docker 宿主机必须能直连 Ceph monitor(6789 端口)和 OSD(6800–7300 端口),防火墙与安全组需放行
  • 镜像特性兼容性:RBD 镜像必须启用 layering(快照/克隆依赖),创建时加 --image-feature layering;禁用 deep-flatten 避免 CSI 删除失败

替代方案:使用 CephFS(更适合 Docker 多容器共享场景)

若目标是多个容器同时读写同一份数据,RBD 的块设备语义受限,CephFS 是更自然的选择:

  • 部署 CephFS(启用 MDS 服务),创建 filesystem 和 auth 密钥
  • 在宿主机 mount CephFS 到本地路径(如 /mnt/cephfs),再用 docker run -v /mnt/cephfs:/data 挂载
  • 或使用 docker-volume-cephfs 插件,支持动态创建子目录作为独立卷
  • CephFS 提供 POSIX 语义,天然支持多读多写,延迟略高于 RBD,但运维更简单
PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2763

5

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6950

13

后端的主要工作内容介绍
后端的主要工作内容介绍

后端是应用程序的服务端部分,负责核心任务,如数据库交互、业务逻辑处理和响应客户端请求。想了解更多后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6446

10

C语言变量命名
C语言变量命名

c语言变量名规则是:1、变量名以英文字母开头;2、变量名中的字母是区分大小写的;3、变量名不能是关键字;4、变量名中不能包含空格、标点符号和类型说明符。php中文网还提供c语言变量的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

3569

3

c语言入门自学零基础
c语言入门自学零基础

C语言是当代人学习及生活中的必备基础知识,应用十分广泛,本专题为大家c语言入门自学零基础的相关文章,以及相关课程,感兴趣的朋友千万不要错过了。

2023.07.25

2428

9

c语言运算符的优先级顺序
c语言运算符的优先级顺序

c语言运算符的优先级顺序是括号运算符 > 一元运算符 > 算术运算符 > 移位运算符 > 关系运算符 > 位运算符 > 逻辑运算符 > 赋值运算符 > 逗号运算符。本专题为大家提供c语言运算符相关的各种文章、以及下载和课程。

2023.08.02

1360

5

c语言数据结构
c语言数据结构

数据结构是指将数据按照一定的方式组织和存储的方法。它是计算机科学中的重要概念,用来描述和解决实际问题中的数据组织和处理问题。数据结构可以分为线性结构和非线性结构。线性结构包括数组、链表、堆栈和队列等,而非线性结构包括树和图等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.09

1318

4

c语言random函数用法
c语言random函数用法

c语言random函数用法:1、random.random,随机生成(0,1)之间的浮点数;2、random.randint,随机生成在范围之内的整数,两个参数分别表示上限和下限;3、random.randrange,在指定范围内,按指定基数递增的集合中获得一个随机数;4、random.choice,从序列中随机抽选一个数;5、random.shuffle,随机排序。

2023.09.05

1416

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2338

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习