怎么在Linux配置Harbor镜像仓库P2P分发加速下载

雨杰大大_2192

雨杰大大_2192

2026-03-26

619人浏览

原创

harbor 不原生支持 p2p 分发,需通过外部集成 dragonfly 实现镜像拉取加速;部署 dragonfly 服务端(manager/scheduler/dfdaemon)、客户端配置 dfdaemon 代理、修改 containerd 镜像源指向本地 dfdaemon,并启用镜像签名与校验以保障传输安全。

怎么在linux配置harbor镜像仓库p2p分发加速下载

Harbor 本身不原生支持 P2P 分发(如 BitTorrent、KadNode 或 Dragonfly 等),它是一个符合 OCI 规范的企业级容器镜像仓库,核心能力聚焦于权限控制、漏洞扫描、复制策略和 Web UI。要实现“P2P 加速下载”,必须在 Harbor 外部叠加一层 P2P 下载网络,典型方案是集成 Dragonfly(阿里开源,CNCF 毕业项目)或 Uber Kraken。以下以生产中更成熟、文档更全的 Dragonfly 为例,说明如何在 Linux 上配置 Harbor + Dragonfly 实现镜像拉取的 P2P 加速。

1. 部署 Dragonfly 服务端(dfdaemon + dfget + manager)

Dragonfly 架构含三部分:manager(中心元数据+调度)、scheduler(任务分发与 Peer 发现)、dfdaemon(每个节点运行的 P2P 客户端代理)。推荐用 Docker Compose 快速启动最小集群:

  • 在一台 Linux 主机(如 192.168.10.100)克隆官方示例:
    git clone https://github.com/dragonflyoss/deployment.git && cd deployment/docker-compose
  • 修改 .env 设置监听地址(如 DF_SCHEDULER_HOST=192.168.10.100)和 Harbor 地址(HARBOR_ADDR=harbor.example.com:443)
  • 执行 docker-compose up -d 启动 manager、scheduler 和 redis
  • 确认 scheduler 健康:curl http://192.168.10.100:8002/api/v1/schedulers 应返回 JSON 列表

2. 在所有客户端节点安装并配置 dfdaemon

dfdaemon 是驻留进程,拦截容器运行时(如 containerd)的镜像拉取请求,自动转为 P2P 下载。以 Ubuntu 22.04 + containerd 为例:

Linux installer
Linux installer

先解析安全源,运行本地CLI安装、启动、卸载Linux桌面应用。用户请求时使用。

下载
  • 下载最新 dfdaemon:wget https://github.com/dragonflyoss/client/releases/download/v2.1.1/dfdaemon_2.1.1_linux_amd64.tar.gz
  • 解压并安装:tar -xzf dfdaemon_*.tar.gz && sudo cp dfdaemon /usr/local/bin/
  • 创建配置文件 /etc/dragonfly/dfdaemon.yaml,关键项包括:
    scheduler:<br>  addr: 192.168.10.100:8002<br>proxy:<br>  defaultFilter: "X-Dragonfly-Tag"<br>  rules:<br>  - regExp: "^harbor\.example\.com.*"<br>   useHTTPS: true<br>   cert: "/etc/ssl/certs/harbor-ca.crt"

    (若 Harbor 启用自签证书,需将 CA 放入 cert 字段)
  • 启用服务:sudo systemctl enable --now dfdaemon

3. 配置 containerd 使用 dfdaemon 代理

修改 /etc/containerd/config.toml,在 [plugins."io.containerd.grpc.v1.cri".registry] 下添加:

  • 配置镜像重写规则,将 Harbor 请求转发给 dfdaemon:
    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."harbor.example.com"]<br>  endpoint = ["http://127.0.0.1:65001"]

    (dfdaemon 默认监听 65001,作为本地 HTTP 代理)
  • 确保 containerd 已加载 cri 插件:sudo systemctl restart containerd
  • 验证是否生效:crictl pull harbor.example.com/project/nginx:1.25 —— 查看 dfdaemon 日志:journalctl -u dfdaemon -f,应出现 "download from source" → "download from peers" 流程

4. Harbor 端无需改造,但建议开启镜像签名与校验

Dragonfly 不修改 Harbor 存储逻辑,所有镜像仍由 Harbor 提供源数据。为保障 P2P 传输完整性,推荐:

  • 在 Harbor 后台启用 Notary(内容信任),对推送的镜像打签名:docker push harbor.example.com/project/app:v1 后执行 notary sign harbor.example.com/project/app v1
  • 在 client 节点配置 containerd 的 imagePullPolicy 为 Always,并启用 content-trust(通过 DOCKER_CONTENT_TRUST=1 环境变量或 daemon.json)
  • dfdaemon 会自动校验每一块(piece)SHA256,与 Harbor manifest 中 digest 一致才写入本地存储,杜绝中间篡改

整个链路为:containerd → dfdaemon(本地代理)→ scheduler(发现 peer)→ 其他节点 dfdaemon(提供 piece)或 fallback 到 Harbor 源。首次拉取走 Harbor,后续节点拉同一镜像时,自动从局域网内已有副本的节点下载 layer,带宽占用下降 60%~90%,尤其适合 CI/CD 流水线或大规模 K8s 集群。不复杂但容易忽略的是证书信任和 containerd 镜像 endpoint 重写——这两步配错会导致静默回退到直连 Harbor。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

437

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

900

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2812

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

936

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

849

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

434

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2556

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4732

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

767

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习