Redis Pub/Sub 多实例下消息重复消费是因为其广播模型导致每个订阅连接都收到完整副本,而非负载分发;正确方案是改用 Redis Streams 消费者组,通过 XGROUP、XREADGROUP 和 XACK 实现单消息单消费与确认机制。

Redis Pub/Sub 多实例下为什么消息会被重复消费?
因为 Redis 的 PUB/SUB 本身是「广播模型」:只要客户端订阅了某个频道,所有连接都会收到完整副本。多个服务实例各自建立独立的 subscribe 连接,就等于每个实例都“听一遍”——这不是消息队列的「负载分发」,而是「全员拷贝」。
所以问题不在代码写错,而在选型误用:PUB/SUB 本质无消费确认、无持久化、无消费者组,天生不适合需要「至少一次且不重复」语义的多实例场景。
改用 Redis Streams 实现单消息单消费
Redis 5.0+ 的 Streams 支持消费者组(consumer group),这才是解决多实例去重消费的正解。核心逻辑是:消息进入一个 stream,多个实例加入同一个 group,Redis 自动保证每条消息只被组内一个消费者读取并确认。
- 创建流和消费者组:
XGROUP CREATE mystream mygroup $ MKSTREAM
- 生产者发消息:
XADD mystream * event "order_created" user_id "U123"
- 消费者(各实例)从组中拉取消息:
XREADGROUP GROUP mygroup instance-1 COUNT 1 STREAMS mystream >
(注意末尾的>表示只读未分配过的消息) - 处理成功后必须显式确认:
XACK mystream mygroup <message_id></message_id>
,否则该消息会留在PENDING列表中,可被重新分配
避免踩坑:消费者组名、实例 ID 和 pending 消息处理
看似配置简单,但三个细节直接决定是否真去重:
-
group名必须全局唯一且所有实例一致;如果每个实例自己建 group(比如用 PID 命名),那就又退化成 PUB/SUB 效果 -
consumer名(如上面的instance-1)建议带机器标识或进程 ID,便于排查谁卡住了某条消息 - 不调用
XACK或网络中断导致 ACK 丢失?消息会滞留在XPENDING中。需定期运行:XPENDING mystream mygroup - + 10
查看积压,并用XCLAIM抢回超时未确认的消息 - Stream 本身不会自动清理已确认消息,需配合
XTRIM或MAXLEN参数限流,否则内存持续增长
如果必须用 PUB/SUB,只能靠应用层做幂等
极少数受限于 Redis 版本(
- 消息体里必须含全局唯一 ID(如 UUID 或订单号 + 时间戳组合)
- 消费者收到后先查本地缓存或 Redis 的
SETNX:SETNX consumed:<msg_id> 1 EX 3600</msg_id>
,成功才处理,失败直接丢弃 - 注意:不能只依赖内存 Set,重启即失效;必须用 Redis 等外部存储,且设置合理过期时间(比如业务最大重试窗口的 2 倍)
这条路能跑通,但把一致性压力全推给业务代码,出错概率高、排查困难——不是不能做,而是别当成首选。











