RabbitMQ铲子插件(Shovel Plugin)跨集群同步数据实战教程

小伟吖_7142

小伟吖_7142

2026-06-01

920人浏览

原创

rabbitmq shovel是单向消息搬运工,非复制工具:消息从源队列移除后即不可逆,目标端未写入不阻断搬运;配置必须包含且仅包含src-uri、src-queue/src-exchange、dest-uri、dest-queue/dest-exchange这4个核心参数,缺一即状态恒为stopped。

rabbitmq铲子插件(shovel plugin)跨集群同步数据实战教程

Shovel 插件不是“复制工具”,而是单向搬运工:源队列里的消息一旦被它拉走,就从源端永久移除——哪怕目标端还没成功写入。这点不理解,同步后发现源队列空了、目标端却没收到,第一反应往往是“Shovel 没工作”,其实它早把消息搬走了,只是卡在投递环节。

shovel 配置漏掉这 4 个参数,状态永远是 stopped

动态配置时(推荐),set_parameter 命令必须包含且仅包含以下 4 项,少一个或拼错大小写/连字符,Shovel 进程不会报错,但状态始终为 stopped:

  • src-uri:完整 AMQP URI,vhost 必须 URL 编码(如 %2f 表示 /),密码含特殊字符也要编码
  • src-queue 或 src-exchange:二者二选一;若选 src-exchange,必须同时配 src-routing-key 和 src-exchange-type
  • dest-uri:格式同 src-uri,建议用域名而非 IP,方便后续 DNS 切换
  • dest-queue 或 dest-exchange:与源端类型对应;若目标是 dest-queue,该队列必须已存在且 durable=true

消息“消失”最常见的 3 个原因

日志里看不到报错,Shovel 状态是 running,但目标端收不到消息——大概率是语义断层,不是网络或权限问题:

RabbitMQ 4.2.3
RabbitMQ 4.2.3

RabbitMQ 4.2.3 是 2026 年初发布的重要稳定更新版本,重点修复了 Khepri 元数据存储相关问题,并改进了监控性能。对于使用 Docker、Kubernetes 或微服务架构的开发团队来说,该版本兼容性和稳定性表现较好。

下载
  • 源发到 topic 交换器,但目标 dest-exchange 是 direct 类型,且没配对的 binding,消息直接被丢弃
  • 源消息 delivery-mode 不是 2(即非持久化),Shovel 转发途中目标 Broker 崩溃,这部分消息彻底丢失
  • dest-uri 中的用户在目标 vhost 上缺少 configure 或 write 权限,Shovel 日志只报 NOT_ALLOWED,不标红也不中断

ack-mode + prefetch-count 组合决定是否丢消息

默认 ack-mode 是 on-confirm,这是安全基线;但若搭配过大的 prefetch-count(比如 >100),会导致源端在未确认目标投递成功前就批量 ACK 消息,一旦 Shovel 进程崩溃或网络中断,这批已 ACK 未送达的消息就丢了:

  • 生产环境建议设 ack-mode 为 on-confirm,prefetch-count 控制在 10~50 区间
  • 若追求吞吐且能接受少量重复,可改用 ack-mode: on-publish,此时 Shovel 在发出消息后立即 ACK 源端,不等目标端 confirm
  • reconnect-delay 建议设为 10 秒以上,避免频繁重连压垮目标 Broker

动态配置后必须手动启动,否则不干活

通过 HTTP API 或管理界面配置完 Shovel,状态默认是 stopped。很多人以为“保存即生效”,结果等半天数据没动:

  • API 方式需额外调一次 POST /api/shovels/%2f/{name}/start
  • 管理界面中,在 Admin → Shovel Management 页面,找到刚建的 shovel,点 Start shovel now
  • 静态配置(rabbitmq.conf)要重启整个节点,跨机房场景下等于主动中断服务,生产环境禁止使用

真正难的不是配通,而是确认每条消息的终点是否和你预期的一致:exchange 类型、binding 关系、routing key、delivery-mode、vhost 权限——这些细节全在目标端生效,源端完全不校验。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

rabbitmq

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

417

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

860

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2552

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

856

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

769

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

394

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2296

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4232

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

687

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
RabbitMQ 入门教程
RabbitMQ 入门教程

共0课时 | 130人学习

RabbitMQ 教程手册
RabbitMQ 教程手册

共0课时 | 0人学习

RabbitMQ 官方文档
RabbitMQ 官方文档

共0课时 | 0人学习