服务器自动化备份任务的并发性与吞吐优化

云丽同学_6203

云丽同学_6203

2026-07-16

217人浏览

原创

velero v1.13+通过--concurrent-backups参数控制全局并发备份数,结合队列控制器、命名空间冲突检测与资源隔离机制实现高效并发,避免资源争抢。

服务器自动化备份任务的并发性与吞吐优化

服务器自动化备份任务的并发性与吞吐优化,核心在于让有限资源更高效地“同时做多件事”,而不是堆硬件或盲目加线程。关键不是并发数越高越好,而是让并发真正落地、不打架、不拖慢整体流程。

合理设置备份任务并发上限

Velero v1.13+ 支持 --concurrent-backups 参数控制全局并发备份数(如设为5),避免多个备份争抢API Server、存储后端或网络带宽。这个值需结合集群规模和备份目标存储性能来定:

  • 小型集群(
  • 中大型集群(100+节点):可设为8–12,但必须配合命名空间隔离策略,确保不同命名空间的备份能真正并行
  • 若备份目标是对象存储(如S3兼容存储),还需确认其每秒PUT/GET请求配额,避免触发限流

拆分粒度:用ItemBlock提升资源级并行

单个备份任务内部仍可并行——Velero通过 item-block-worker-count 控制每个备份内资源块的并发处理能力(如设为6)。它把一个命名空间内的数千个资源(Pod、ConfigMap等)划分为多个块,由独立worker并行处理:

Felo
Felo

Felo是一款结合 AI 搜索、实时翻译、研究整理和内容生成的多语言智能工具。

下载
  • 默认值常为1,相当于串行遍历所有资源,备份耗时随资源量线性增长
  • 调高该值(建议4–8)可显著缩短元数据收集阶段时间,尤其适用于含大量小资源的命名空间
  • 注意:过高会增加API Server压力,建议搭配 --rate-limit 使用,防止被限速

节点侧数据移动要“控流”

备份真正耗时的环节往往是卷数据上传(尤其是大PV)。Velero节点代理(Node Agent)支持 per-node 并发控制,避免单台节点网卡或磁盘被打满:

  • 通过 --set nodeAgent.concurrency=3 安装时设定,或后期 patch 更新
  • 对高IO负载节点(如运行数据库的Worker),可单独降低其 concurrency(例如设为1),不影响其他节点
  • 搭配缓存卷(cacheVolumeSize)使用效果更佳:本地暂存压缩后的数据块,减少重复读盘和网络重传

压缩与传输链路协同提速

吞吐瓶颈常不在CPU,而在网络或磁盘I/O。优化应从数据本身入手:

  • 启用LZ4或Zstd压缩(比gzip快2–3倍,压缩率相当),大幅减少上传数据量
  • 若备份库支持分段上传(如S3),确保Velero配置启用 multipart upload,充分利用带宽
  • 在5G或万兆内网环境,可适当提高TCP缓冲区(net.core.wmem_max)、启用 tcp_tw_reuse,减少连接建立开销

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

417

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

860

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2512

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

856

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

749

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

394

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2256

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4152

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

667

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.3万人学习