LPUSH + RPOP 无法防重复消费,因缺乏去重标识与原子性保障;需用 Lua 脚本将 SET 去重与 LIST 入队/出队绑定,确保“唯一键校验+消息操作”原子执行。

为什么不能只用 LPUSH + RPOP 做防重复消费
单纯靠 List 的 LPUSH 和 RPOP 只能保证顺序,但无法识别“这条消息是否已被消费过”。比如消费者取到消息后宕机、网络中断或处理失败,消息就丢了,且无从追溯;更糟的是,如果下游服务没做幂等,同一消息被不同消费者(或重试机制)多次取到,就会重复执行。
关键问题在于:List 本身不记录“谁取过、取了没成功、是否已确认”。而防重复消费必须把“去重标识”和“顺序取出”两个动作绑在一起原子执行——这正是 Lua 脚本的用武之地。
PUT 脚本:插入时用 SET 去重 + LIST 记序
插入逻辑必须同时写入两个结构:list 存完整消息(含业务唯一键),set 存纯 key(如订单 ID、URL、任务 ID)。只有 sadd 返回 1(即该 key 确实是新增的),才允许 lpush 消息。
- 脚本中
KEYS[1]是队列名,KEYS[1].."_set"是对应去重 set 名 -
ARGV[1]是业务唯一标识(如"order_12345"),ARGV[2]是序列化后的完整消息(如 JSON 字符串) - 注意:
SEP分割符(如"#_#")必须确保不会出现在业务数据里,否则string.gsub会误切 - 若
sadd返回 0,说明该 key 已存在,脚本直接返回 0,上层可丢弃或告警,不入队
TAKE 脚本:取出时原子校验 + 删除 + 解析
消费端调用 rpop 取出消息后,必须立刻用该消息里的唯一 key 去 set 中验证——但这个“取 + 查 + 删”三步不能分拆,否则并发下仍可能重复。所以全部压进 Lua 脚本里执行:
- 脚本先
rpop出一个带SEP分隔的消息字符串,例如"order_12345#_#{\"id\":\"12345\",...}" - 用
string.gmatch提取前半段作为 key,后半段作为 payload - 再调用
srem尝试从 set 中删掉这个 key;只有删除成功(说明此前没人消费过),才返回 payload - 如果
srem返回 0(已被删过),说明是重复消费,脚本把消息lpush回 list 顶上,避免丢失
容易忽略的三个实际约束
这套方案看着简洁,但落地时几个点常被跳过:
- Redis 集群模式下,
KEYS[1]和KEYS[1].."_set"必须落在同一个 slot,否则脚本报CROSSSLOT错误;得用哈希标签,比如队列名写成"{queue}:task",set 名也用"{queue}:task_set" -
TAKE脚本里用string.gsub替换SEP是为规避 JSON 中出现#导致解析失败,但如果业务数据里真有"#_#"(比如用户输入的 remark 字段),就得换更生僻的分隔符,或改用 JSON 解析而非字符串切割 - 没有 ACK 机制,一旦消费端解析 payload 失败或崩溃,消息就卡在 list 里无人再取——你得额外加个定时任务扫积压,或改用 Stream + PEL 的方式补 ACK 能力











