检查点管理怎么配置检查点支持多路径存储的同步备份

云磊同学_8126

云磊同学_8126

2026-10-13

956人浏览

原创

检查点管理不直接支持多路径存储同步备份,其职责是状态快照持久化,而多路径冗余属底层存储系统范畴;需通过将checkpointstorage部署于具备多路径能力的分布式文件系统(如hdfs/cephfs)实现协同。

检查点管理本身不直接支持多路径存储的同步备份——这是两个不同层级的设计目标:检查点(checkpoint)是计算框架(如 flink)用于容错的状态快照机制,而多路径存储同步备份属于底层存储系统(如 fastdfs、存储阵列或文件系统)的数据冗余策略。二者需分层配合,不能混用配置。

明确职责边界:检查点 ≠ 存储同步

检查点的核心作用是捕获算子状态(如窗口聚合值、键控状态等),并将其持久化到外部存储系统(如 HDFS、S3、Azure Blob)。它不感知、也不控制底层磁盘路径数量、RAID配置或 storage 节点间 binlog 同步。多路径存储(如 FastDFS 的 store_path0/store_path1)是存储节点自身的本地冗余设计,由 storage.conf 配置驱动,与 Flink 的 CheckpointCoordinator 无任何交集。

实现“检查点 + 多路径备份”的协同方式

要让检查点数据也享受多路径/高可用存储保障,关键在于:把检查点的后端存储(CheckpointStorage)部署在具备多路径能力的基础设施上。具体操作如下:

  • 选用 FileSystemCheckpointStorage,并将其指向一个已启用多路径 I/O 的分布式文件系统(如配置了 multipathd 的 Linux 主机挂载的 NFS/GPFS,或支持多网卡绑定+多存储路径的 CephFS)
  • 避免使用 JobManagerCheckpointStorage——它仅存于 JobManager JVM 堆内存中,无持久性,更谈不上路径冗余
  • 确保 checkpoint 目录所在文件系统本身具备多磁盘/多路径特性:例如在 FastDFS 存储节点上部署 HDFS DataNode,并将 Flink Checkpoint 目录设为 hdfs://nameservice1/flink/checkpoints;而该 HDFS 集群的 DataNode 已配置多个 data.dir(对应不同物理磁盘)
  • 配合存储层同步机制:若使用 Azure Blob 或 AWS S3,开启版本控制 + 跨区域复制;若使用本地 FastDFS,则通过其内置的 sync_wait_msec 和 compress_binlog 控制 binlog 同步行为,保障 storage 节点间数据一致——这间接提升了 checkpoint 所依赖的底层存储可靠性

典型配置示意(Flink + FastDFS 场景)

假设 FastDFS 的 storage 节点已配置双路径:

windows-git-ops
windows-git-ops

在 Windows PowerShell 工作区执行 Git 操作时使用此技能,特别适用于创建分支、暂存、提交、合并、状态检查等。

下载
storage.conf:
store_path_count = 2
store_path0 = /data/fastdfs/disk1
store_path1 = /data/fastdfs/disk2

同时,在该节点上部署 HDFS DataNode,并挂载至 /hdfs,其 hdfs-site.xml 中配置:

hdfs-site.xml:
<property><name>dfs.datanode.data.dir</name><value>/data/hdfs/disk1,/data/hdfs/disk2</value></property>

Flink 配置则指向该 HDFS:

flink-conf.yaml:
state.checkpoints.dir: hdfs://mycluster/flink/checkpoints
state.backend: filesystem

这样,Flink 的每次 checkpoint 写入,都会经由 HDFS 分布到多个磁盘路径,再通过 FastDFS 的 binlog 同步扩散到其他 storage 节点——形成“检查点逻辑层 + 存储物理层”双重冗余。

不推荐的错误做法

  • 试图在 flink-conf.yaml 中配置多个 checkpoint 目录(Flink 不支持)
  • 把 checkpoint 直接写入单块本地磁盘,再靠 rsync 定时同步(时效差、易丢 barrier、破坏 exactly-once 语义)
  • 依赖 Flink 自身实现跨 storage 节点同步——它没有该能力,那是 FastDFS Tracker/Storage 的职责

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

437

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

920

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2852

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

956

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

849

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

434

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2596

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4832

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

767

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Conan 2 安装指南
Conan 2 安装指南

共0课时 | 0人学习