Workerman怎么处理大并发下的数据持久化排队?

雨强同学_9139

雨强同学_9139

2026-05-25

967人浏览

原创

Workerman本身不提供任务队列持久化能力,需解耦任务生成与消费并选用Redis或RabbitMQ等持久化存储;onMessage中禁止同步I/O,应仅轻量入队;Redis队列须BRPOP超时+连接保活;RabbitMQ须delivery_mode=2+手动ack+DLX;还需幂等校验与重试边界控制。

workerman怎么处理大并发下的数据持久化排队?

Workerman 本身不提供内置的“任务队列持久化”能力,它只是一个常驻内存、事件驱动的 PHP 应用容器。大并发下数据丢失或排队失败,根本原因往往不是 Workerman 不行,而是你没把「任务生成」和「任务消费」这两层真正解耦,也没选对底层存储。


onMessage 里直接写数据库 = 自己造雪崩

常见错误是:用户一发请求,onMessage 回调里立刻 INSERT INTO orders 或调用 file_put_contents,还带 sleep(1) 或未设超时的 curl_exec。这会导致:

  • 事件循环被阻塞,后续连接无法及时响应
  • 进程卡死,新连接被系统丢弃(Connection refused 或超时)
  • 数据看似“提交了”,实则事务未提交、日志没刷盘、MySQL 连接池耗尽

正确的做法是:只做最轻量的事——把任务塞进一个能落盘的队列。

  • 使用 Redis 的 LPUSH + BRPOP(推荐中小规模)
  • 或 RabbitMQ 的 basic_publish + 持久化队列 + ack 模式(中大型、强一致性场景)
  • 绝对避免在 onMessage 中执行任何同步 I/O、慢 SQL、阻塞网络调用

Redis List 做队列必须开 BRPOP 超时 + 心跳保活

很多人用 Redis 做队列,但忘了两个关键点:

  • BRPOP 默认无限等待,Worker 进程可能因网络抖动假死却无感知
  • Redis 连接空闲超时(默认 300 秒),连接断开后不重连,后续任务全积压

建议这样写消费者逻辑:

  • BRPOP queue_name 5:最多等 5 秒,超时就检查自身状态(如内存、信号)再继续循环
  • 在 onWorkerStart 初始化连接,并用 try/catch 包裹每次 BRPOP,捕获 RedisException 后重建连接
  • 每次成功取到任务后,立即 DEL 或 SET 一个带 TTL 的标记键,用于监控积压量

不要依赖 phpredis 的自动重连——它不保证命令重试,也不处理连接中断期间的数据一致性。

agent-browser
agent-browser

agent-browser是一款AI智能体工具,Vercel Labs 开源的浏览器自动化工具。

下载

RabbitMQ 场景下必须配 delivery_mode=2 和手动 ack

如果你选 RabbitMQ,光连上还不够。默认消息是内存存储,服务重启就丢;默认消费者是自动 ack,消息一推过去就算成功,哪怕 Worker 进程当场崩溃。

必须显式设置:

  • 生产端:投递时指定 ['delivery_mode' => 2],确保消息写入磁盘
  • 消费端:关闭自动 ack($channel->basic_qos(0, 1, false) + $channel->basic_consume(..., false)),并在业务逻辑执行完、数据真正落库后再调用 $channel->basic_ack($delivery_info['delivery_tag'])
  • 死信交换机(DLX)要提前绑定,让处理失败三次的消息进 dlx.order.failed 队列,而不是直接丢弃

漏掉其中任意一项,高并发下都可能出现“消息已发送,但数据库没写,且再也找不回来”的情况。


真正难的不是写 Worker,而是设计好「任务唯一性校验 + 幂等入口 + 失败重试边界」。比如订单号作为消息 body 的 key,消费前先查库是否已存在;重试最多 3 次,第 4 次进死信人工介入。这些逻辑不在 Workerman 文档里,但在生产环境一天都绕不开。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

workerman

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

12284

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

7101

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

2215

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

4468

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

5174

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

4071

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

5897

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

4622

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

12442

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Webman中文手册
Webman中文手册

共0课时 | 0人学习

Workerman官方手册
Workerman官方手册

共0课时 | 0人学习

ThinkPHP5.1完全开发手册
ThinkPHP5.1完全开发手册

共0课时 | 0人学习