基于 Webman 开发高可靠性的异步任务队列系统(基于 Redis/RabbitMQ)

P粉328763957

P粉328763957

2026-06-11

310人浏览

原创

应选 delayed 模式(基于 zset),因其支持延迟、高并发不丢任务、可支撑 1000+ qps;list + blpop 仅适用于简单场景,不具备延迟能力且重试和可靠性差。

基于 webman 开发高可靠性的异步任务队列系统(基于 redis/rabbitmq)

Redis 队列选 delayed 模式还是 list + blpop?

别用 list + blpop 做核心队列——它扛不住重试、不支持延迟、高并发下容易丢任务。真正能支撑 1000+ QPS 邮件或通知下发的,是 Redis 的 delayed 模式(底层基于 zset),前提是 Redis 版本 ≥ 6.2(需要 ZMSCORE 支持)。

实操要点:

  • config/queue.php 中设 'default' => 'redis',并显式开启 'delayed' => true
  • 确认 plugin/webman/redis-queue 插件已启用,且 process.phpcount 不为 0
  • 避免混用:同一套 Redis 实例里,别让 delayed 队列和普通 list 队列共用连接池,否则 ZADD/ZRANGEBYSCOREBLPOP 会互相干扰

RabbitMQ 生产者必须设 delivery_mode => 2

没加 delivery_mode => 2,等于没走队列——消息只存在内存,RabbitMQ 进程重启后全丢。这不是“可能丢”,而是“一定丢”,尤其在支付回调、订单创建等关键路径上。

配套必须项:

  • 队列声明时设 durable => true$channel->queue_declare('order_queue', false, true, false, false)
  • 交换机也得持久化:$channel->exchange_declare('order_exchange', 'direct', false, true, false)
  • 消息体建议用 json_encode($data) 并带 content_type => 'application/json'
  • 生产者端开启 publisher-confirmsmandatory,捕获 UnroutableMessageException

消费者不能写在 HTTP 控制器里

在控制器里调 basic_consume + while ($channel->is_open()) { $channel->wait(); } 是典型反模式:HTTP Worker 会被长期阻塞,触发 Nginx 超时、连接泄漏、重复消费,且无法被 Supervisor 管理。

Redis 8.2.3
Redis 8.2.3

Redis 8.2.3 是一款安全优先的高性能键值存储系统。该版本紧急修复了可能引发远程代码执行(RCE)的高危漏洞(CVE-2025-62507),并解决了 HyperLogLog 及 Cuckoo Filter 等数据结构在特定场景下的崩溃问题。建议所有用户立即升级,以保障生产环境的系统稳定与数据安全。

下载

正确姿势:

  • HTTP 入口只做 publish,绝不启动消费循环
  • 消费者必须是独立 CLI 命令,例如 php app/command/ConsumerCommand.phpphp webman start:consumer
  • 该 CLI 进程需由 Supervisor 守护,并配置 autostart=trueautorestart=true
  • onWorkerStop 回调中显式调用 $channel->close()sleep(1),确保连接干净释放

积压时先看进程,再调并发,最后查阻塞点

队列积压不是“等等就好”,而是消费者进程、配置、任务逻辑三处同时出问题的信号。第一反应不是改代码,是确认有没有真正在干活的进程。

快速诊断步骤:

  • 执行 ps aux | grep redis-queueps aux | grep rabbitmq-consumer,看是否有活跃 PHP 进程(TIME 列应缓慢增长)
  • redis-cli llen webman:queue:default,隔 10 秒再查,值不降说明消费卡死
  • storage/logs/redis-queue.log 或 RabbitMQ 消费日志,搜 ExceptiontimeoutConnection refused
  • app/queue/Handler.php::handle() 开头加 file_put_contents('/tmp/queue_trace.log', date('H:i:s') . " start\n", FILE_APPEND),观察是否持续追加
  • 所有外部调用必须带超时:GuzzleHttp\Client'timeout' => 3.0,PDO 设 PDO::ATTR_TIMEOUT,禁用裸 file_get_contents

并发数不是越大越好;count => 8 却配 maxclients 100 的 Redis,很容易打满连接引发雪崩。先查 redis-cli config get maxclients,再按消费者数 × 2 调整连接池 max_connections

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

5528

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

3630

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

1808

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

2294

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

2831

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

2021

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

3076

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

2340

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

10931

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Webman和FastAPI的性能对比
Webman和FastAPI的性能对比

共0课时 | 231人学习

Webman中文手册
Webman中文手册

共0课时 | 0人学习

webman初步使用及后台搭建
webman初步使用及后台搭建

共15课时 | 2.5万人学习