Redis ZSET 做延迟队列可行,但需规避ZPOPMIN误删、score冲突及processing残留:应改用ZRANGEBYSCORE扫描+Lua原子ZREM/HSET,score统一用毫秒时间戳。

Redis ZSET 做延迟队列可行,但默认用法在高并发或精度要求高时容易翻车——关键不在“能不能做”,而在“怎么避免 ZPOPMIN 误删、score 冲突、processing 状态残留”。
为什么 ZPOPMIN 直接用会丢任务或重复消费
ZPOPMIN 本身不带条件删除能力,它只按 score 取最小的 N 条,但无法保证“取到的同时标记为处理中”。多个消费者 goroutine 同时调用,可能都拿到同一组任务,导致重复执行;更糟的是,如果某条任务消费失败、panic 或网络中断,ZPOPMIN 已经把它从 zset 删了,但后续没进业务逻辑,任务就彻底丢了。
正确做法是分两步:先用 ZRANGEBYSCORE 扫描到期范围(比如 -inf 到 now_ms),再用 Lua 脚本原子性地 ZREM + HSET 到 delay_processing hash 中。这样即使消费者崩溃,守护协程还能从 hash 里捞出超时未完成的任务回滚。
- 别用
ZPOPMIN做主消费入口,它适合单机轻量场景,不适合分布式容错 - 扫描范围建议加个缓冲窗口,比如查
now_ms - 5000到now_ms,防 Redis 与应用服务器时间不同步 - 每次最多扫 100 条,避免单次 Lua 脚本过长阻塞 Redis
score 用秒还是毫秒?看任务密度和容忍延迟
用秒级时间戳当 score,1 秒内涌入 500 个任务,它们 score 全一样,ZSET 内部靠 member 字典序排序,顺序不可控,且 ZRANGEBYSCORE 返回结果不稳定;更严重的是,ZCOUNT delay_queue -inf 会把整秒所有任务全算作“到期”,造成批量误触发。
真实线上应统一用毫秒时间戳:time.Now().UnixMilli()。它能支撑每秒数万任务不冲突,也方便后续做亚秒级调度(比如 300ms 后重试)。
- 旧系统迁移到毫秒,需改写所有
ZADD和扫描逻辑,不能只改 producer - 如果业务允许 ±1 秒误差,且 QPS EXPIRE 防堆积
- 别用
time.Now().UnixNano()—— Redis score 是 double,纳秒级整数转 float64 会丢失精度
delay_processing hash 的清理不是 HDEL 就完事
很多人在消费成功后只写一行 HDEL delay_processing ,但线上常因 panic、context timeout、defer 未执行或网络 write 超时,这行根本没发出去。结果是:任务实际完成了,但 hash 里还留着脏 key,30 秒后守护协程一扫,当成超时任务又扔回 zset,造成重复执行。
稳妥方案是消费完成后,用 Lua 脚本做“条件清理”:只有 hash 中该 key 的 value 包含预期状态(比如 "done:202605112030"),才 HDEL;否则跳过。同时,producer 发任务时,给 hash 写入带 TTL 的初始值(HSETNX + EXPIREAT),避免冷 key 残留。
- 守护协程扫描
delay_processing的频率设为 30 秒,超时阈值设为 120 秒(比最长业务耗时多一倍) - 不要依赖
EXPIRE自动清理 hash —— Redis 不保证 key 过期瞬间就被删,得主动扫 - value 建议存 JSON,包含
start_time、worker_id、status,方便排查谁卡住了
zset key 必须设 TTL,否则磁盘和内存都会爆
没人清理的 zset 会无限增长。哪怕你每条任务消费完都 ZREM,只要中间有失败、重试、或消费者长期下线,zset 就越积越多。Redis RDB/AOF 文件膨胀,bgsave 变慢,甚至 OOM。
所有 delay 相关 zset 都要配 EXPIRE delay_queue 86400(1 天)。注意:TTL 是对 key 整体生效,不是对每个 member;所以得靠定时脚本或守护协程定期清理已过期但未消费的 task(比如 score now_ms - 86400000 的老数据)。
- 别用
PEXPIRE动态刷新 TTL —— 每次ZADD都刷,QPS 高时 Redis CPU 明显上涨 - 如果任务有效期差异大(有的 1 分钟,有的 7 天),拆成多个 zset,按生命周期分桶,比如
delay_queue_1m、delay_queue_1d - 监控
zcard delay_queue和hlen delay_processing,两个数持续增长就是有漏处理
真正难的不是把任务塞进 zset,而是让“到期 → 取出 → 标记 → 执行 → 清理”这一整条链路在分布式、异常频发的环境下不丢、不重、不卡。每个环节都要有 fallback,而不是指望某一步原子操作解决全部问题。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!











