redis sorted set 是存储延迟任务最稳的选择,因其支持按时间戳排序、精准查询到期任务、可水平扩展且持久化,避免数据库轮询性能差和内存方案易丢任务的问题。

延迟任务怎么存,Redis Sorted Set 是最稳的选择
直接用数据库轮询查 due_time 会随着数据量增长变慢,且容易漏触发;用内存 map + 定时器又无法水平扩展、进程重启就丢任务。Redis 的 <code>ZSET 天然适合:把延迟时间转为 Unix 时间戳当 score,任务 ID 或序列化数据当 member,ZRANGEBYSCORE 就能精准捞出到期任务。
实操建议:
- score 必须是整数秒或毫秒(推荐毫秒),避免浮点精度导致排序错乱
- member 建议用唯一任务 ID(如
job:123456),实际 payload 存 Redis Hash 或单独序列化进 value 字段,避免 ZSET member 过大影响性能 - 每次消费前先
ZREMRANGEBYSCORE拿一批,再异步处理,防止重复投递——但要注意:如果处理失败,得把任务重新塞回 ZSET 并更新 score(比如重试延后 3 秒) - 别用
ZRANGE遍历全量,必须带WITHSCORES和LIMIT,否则大 ZSET 会阻塞 Redis
Go 里怎么安全地轮询和分发任务
一个 goroutine 死循环 ZRANGEBYSCORE 不可靠:Redis 网络抖动、任务处理超时、进程崩溃都会导致任务卡住或重复。得加一层“租约”机制。
实操建议:
- 轮询间隔别设固定 sleep,改用
redis.BLPOP配合一个通知 channel(比如每插入新任务就LPUSH notify:delay "1",然后BLPOP notify:delay 10),既省资源又及时 - 捞到任务后,立刻用
SET job:123456:lease "worker-abc" EX 30 NX占坑,成功才继续执行;失败就跳过,下次轮询再试 - 处理中任务要设置超时 context,比如
ctx, _ := context.WithTimeout(context.Background(), 20*time.Second),超时自动释放 lease - 别在 for-select 里直接起 goroutine 处理任务,要用 worker pool 控制并发,否则突发大量延迟任务可能打爆下游服务
如何支持动态调整延迟时间或取消任务
用户下单后修改收货地址,原定 30 分钟的发货提醒就得延后;或者订单已支付,定时关单任务就得删掉。这些操作必须原子、低延迟。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
实操建议:
- 修改延迟时间 = 先
ZREM再ZADD新 score,两步要包在 Lua 脚本里,否则中间有窗口期导致任务被误消费 - 取消任务直接
ZREM即可,但注意:如果该任务已被 worker 捞走并加了 lease,得额外检查GET job:123456:lease,若存在且不是当前 worker,说明正在处理中,此时取消应标记为 “canceled” 状态而非硬删 - 任务 ID 命名要有业务上下文,比如
cancel_order:ORD-789012,方便排查时快速定位来源 - 别依赖 TTL 自动清理——ZSET 本身不支持 per-member 过期,得靠业务层定期扫过期的无效任务(比如 score 小于当前时间减 24 小时)
为什么不用 time.Timer 或 ticker 实现纯内存延迟队列
小规模、单机、不关心持久化时,time.AfterFunc 或 timer.Reset() 确实够用。但只要涉及任意一项:多实例部署、机器重启、任务量 > 1k/秒、需要精确到毫秒级重试,它就立刻崩盘。
关键缺陷:
-
time.Timer是内存对象,进程退出即销毁,没地方 recover - 大量 timer 会吃光 Go runtime 的 timer heap,压测时常见
runtime: timer heap full错误 - 无法跨进程协调,两个实例可能同时触发同一个任务,得自己实现分布式锁,反而更重
- 没有内置重试策略、死信队列、堆积监控——这些都得从零造轮子
真正上线的延迟队列,几乎都会选外部存储兜底。Redis 是平衡开发成本、性能和可靠性的最优解;如果对一致性要求极高(比如金融场景),再考虑 Kafka + 时间轮或自研基于 RocksDB 的持久化调度器。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!










