C++ 怎么使用 Ceph RADOS 客户端直接读写分布式块存储集群数据

浅强小哥_7903

浅强小哥_7903

2026-10-20

638人浏览

原创

必须先初始化rados_t实例并调用rados_connect(),检查返回值是否为0;接着用rados_conf_read_file()或rados_conf_set()配置mon_host、keyring和client_id;再调用rados_ioctx_create()创建io上下文,最后用rados_write()/rados_read()完成对象读写。

c++ 怎么使用 ceph rados 客户端直接读写分布式块存储集群数据

如何用 C++ 连上 RADOS 集群并完成基础读写

必须先初始化 rados_t 实例,再调用 rados_connect();不检查返回值或跳过配置加载,rados_connect() 会静默失败,后续所有操作都返回 -ENOTCONN。

典型流程是:构造 rados_t → rados_conf_read_file() 或 rados_conf_set() 设置 mon_host、keyring、client_id → 调用 rados_connect() → 检查返回值是否为 0。

  • mon_host 必须是逗号分隔的 IP:PORT 列表(如 "192.168.1.10:6789,192.168.1.11:6789"),不能带 ceph:// 前缀
  • 若用 keyring 文件,路径需绝对且进程有读权限;若用 cephx 密钥字符串,要用 rados_conf_set(r, "key", "AQ...==")
  • 未显式设置 client_id 时默认为 admin,但生产环境应指定独立 client 名并配对应权限

怎么在 C++ 里打开并读写一个 RADOS 对象(非 RBD)

RADOS 客户端操作的是裸对象(object),不是块设备;RBD 是构建在其上的高层封装。直接读写对象需用 rados_ioctx_create() 创建 IO 上下文,再用 rados_write() / rados_read()。

注意:rados_write() 是覆盖写,不支持追加;若要模拟追加,得自己管理偏移并用 rados_write_full() 或分片写入后合并。

  • IO 上下文必须绑定到已有 pool,创建前用 rados_pool_lookup() 确认 pool 存在,否则 rados_ioctx_create() 返回 -ENOENT
  • rados_read() 的缓冲区需提前分配好内存,长度参数是最大可读字节数,返回值才是实际读取字节数;若返回 -ENOENT,说明对象不存在,不是读错位置
  • 写入大于 4MB 的数据时,底层会自动分片,但单次 rados_write() 调用仍受限于内存和网络缓冲,建议分块控制在 1–2MB

为什么 rados_write() 成功但 rados_read() 读不到数据

最常见原因是对象写入后没等 OSD 提交就立即读 —— RADOS 默认是异步写,rados_write() 返回仅表示已发往集群,不保证落盘。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

解决方法只有两个:要么用 rados_write_full()(同步阻塞直到提交),要么在写后调用 rados_aio_wait_for_complete() 等待异步上下文完成。

  • rados_write_full() 会先清空对象再写入,适合整对象替换场景;若只想更新部分内容,必须用普通 rados_write() + 异步等待
  • 使用异步写时,必须用 rados_aio_create_completion() 创建 completion,并传给 rados_aio_write(),不能复用 completion 实例
  • 忘记调用 rados_aio_release() 会导致内存泄漏,且后续 rados_aio_wait_for_complete() 可能卡死

C++ 中如何安全释放 RADOS 资源避免崩溃

资源释放顺序非常关键:rados_ioctx_destroy() 必须在所有对该 IO 上下文的读写完成后调用;rados_shutdown() 必须在所有 rados_ioctx_destroy() 之后,且只能调用一次。

如果在还有 pending 异步操作时调用 rados_ioctx_destroy(),程序大概率 SIGSEGV;若重复调用 rados_shutdown(),部分版本会 abort。

  • 每个 rados_ioctx_t 对应一个 pool,不要跨 pool 复用同一个 IO 上下文
  • 用 RAII 封装时,析构函数里先 rados_aio_wait_for_complete_all() 等待全部异步完成,再 rados_ioctx_destroy()
  • rados_shutdown() 应放在整个程序生命周期末尾,比如 main() 结束前,或单例类的最终清理逻辑中

异步操作的生命周期管理比同步操作复杂得多,尤其在多线程环境下,completion 回调里的变量捕获、异常处理、以及 completion 本身的释放时机,稍不注意就会踩到 use-after-free 或 double-free。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

2248

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

1019

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

447

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

327

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

406

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

580

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1409

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

1217

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1325

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ 手册教程
C++ 手册教程

共41课时 | 78.4万人学习

尚学堂ios初级视频教程
尚学堂ios初级视频教程

共77课时 | 21.2万人学习

C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习