Redis如何实现带优先级的任务分发_利用Lua脚本管理队列

胖瑶酱_8894

胖瑶酱_8894

2026-04-15

821人浏览

原创

不能直接用lpush+brpop做优先级队列,因其仅支持fifo,无法跳过低优先级任务;多list轮询有竞态且非原子;正确做法是zset+lua实现原子取最高优任务。

redis如何实现带优先级的任务分发_利用lua脚本管理队列

为什么不能直接用 LPUSH + BRPOP 做优先级队列

Redis 原生没有优先级队列数据结构,LPUSH/RPUSH + BRPOP 只能实现 FIFO,高优先级任务一旦被低优先级任务“挡在后面”,就得等。真实场景里,你发了个紧急重试任务,结果卡在 500 个普通同步任务后面,延迟飙升——这不是设计问题,是数据结构选错了。

常见错误是试图靠多个 list(如 queue:high、queue:normal)+ 客户端轮询来模拟优先级,但会引入竞态:两个 worker 同时 BRPOP 不同 key,可能都阻塞,或漏掉高优任务;更糟的是,客户端需维护连接和超时逻辑,可靠性直线下滑。

  • 多 list 轮询无法保证原子性:没有“从 high 里取一个,没就去 normal 取”的单次原子操作
  • BRPOP 不支持按 score 或条件过滤,没法跳过低优任务
  • 手动分发增加网络往返,吞吐下降明显,尤其在高并发短任务场景

用 ZSET 存任务 + EVAL 执行 Lua 脚本的正确姿势

核心思路:把任务 ID 当 member,优先级(越小越优先)当 score,存进 ZSET;消费时用 Lua 原子读取并移除最高优任务。Lua 脚本在 Redis 单线程内执行,ZRANGE + ZREM 不会穿插其他操作,彻底规避竞态。

示例脚本(保存为 pop_highest.lua):

local task = redis.call('ZRANGE', KEYS[1], 0, 0, 'WITHSCORES')
if #task == 0 then
  return nil
end
redis.call('ZREM', KEYS[1], task[1])
return {task[1], task[2]}

调用方式:

redis-cli --eval pop_highest.lua queue:tasks ,

注意点:

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • KEYS[1] 是队列名,必须传;, 后面是 ARGV,这里没用到,所以留空
  • 返回值是数组:{'task_id_123', '1'},其中 '1' 是 score,即优先级数值
  • 不要用 ZRANGEBYSCORE,它不保证“最小 score”唯一;ZRANGE ... WITHSCORES 取第 0 个,才是严格最高优

如何让不同服务安全共享同一套优先级队列

多个服务往同一个 ZSET 写任务,必须避免 score 冲突导致顺序错乱。单纯用时间戳当 score(如 System.currentTimeMillis())在毫秒级并发下极易重复;全用固定值(如 0)又退化成无序。

推荐方案:score = timestamp_ms * 1000000 + sequence,sequence 由服务本地递增(每毫秒重置),确保全局单调递增且可比较。

实际写入命令:

ZADD queue:tasks 1672531200000001 "task:retry:user_456"

关键约束:

  • 所有写入必须走 ZADD,禁用 ZINCRBY 或 ZADD ... NX,否则无法控制 score 生成逻辑
  • 消费端不要依赖 score 数值本身做业务判断,只用于排序;业务字段放 task payload 里(如 JSON 字符串中)
  • 如果需要动态调整某任务优先级,用 ZADD ... XX 更新 score,但要注意:这会改变它在队列中的位置,可能打断正在处理的任务流

Lua 脚本上线前必须验证的三个边界

线上出问题往往不是逻辑错,而是边界没兜住。这三个点不测,脚本一压就崩:

  • 空队列:脚本返回 nil,客户端必须判空,不能直接解包,否则报 attempt to index a nil value
  • 超大 score:Redis ZSET score 是 double,超过 2^53 会精度丢失;你的时间戳乘 100 万后若接近 9007199254740992,后续排序就乱
  • 任务内容含特殊字符:如果 task ID 里有空格或逗号,ZADD 仍能存,但 Lua 中 redis.call 返回的 member 是原样字符串,客户端解析时别用简单 split(' '),要用 Redis 协议解析器或严格 JSON 封装

真正麻烦的不是写对脚本,是让所有写入方遵守 score 编码规则、所有消费方正确处理 nil 和长整数——协议比代码更难统一。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2023.08.07

2055

5

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.23

3062

1

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

2023.10.13

1036

3

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

2025.09.10

3479

7

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1678

5

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

2524

5

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

2023.10.24

5964

49

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

2023.11.24

5369

6

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

2024.03.22

7074

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习