如何在Spring Boot中使用Redis的List结构实现阻塞任务队列

星杰酱_6208

星杰酱_6208

2026-09-14

917人浏览

原创

不能直接用 lpush + brpop 是因为 spring data redis 的 rightpop 超时返回 null 未处理会导致消费者假死,且默认不支持阻塞操作的自动重试、连接保活及多 key 的 blpop,需手动实现重试循环、心跳检测、连接管理及死信隔离。

如何在spring boot中使用redis的list结构实现阻塞任务队列

为什么不能直接用 LPUSH + BRPOP 就完事?

很多同学一上来就写 redisTemplate.opsForList().leftPush("queue", task)redisTemplate.opsForList().rightPop("queue", 5, TimeUnit.SECONDS),结果发现消费者经常“假死”——任务明明进了队列,但一直没被取走。根本原因是:Spring Data Redis 的 rightPop(对应 BRPOP)在超时后返回 null,而你没处理这个边界,循环直接退出或抛异常了。

更隐蔽的问题是:如果多个消费者同时监听同一个 key,BRPOP 是公平分发的,但 Spring 的 RedisTemplate 默认不支持阻塞操作的自动重试和连接保活,网络抖动或 Redis 临时不可用会导致整个消费线程静默终止。

  • 必须手动包装成带重试的 while 循环,且每次调用前检查连接状态
  • BRPOP 超时返回 null 是正常行为,不是错误,别 throw RuntimeException
  • 不要在 @PostConstruct 里直接启线程跑阻塞消费,得交给 TaskExecutor 管理生命周期

怎么用 RedisConnectionFactory 获取原生命令支持 BLPOP

Spring Data Redis 2.6+ 的 RedisTemplate 对阻塞操作封装较弱,尤其不支持多 key 的 BLPOP(用于优先级队列场景)。这时候得绕过模板,直连连接工厂。

关键不是“能不能”,而是“要不要”。如果你只需要单队列、无优先级、不关心原子性跨 key 操作,用 redisTemplate.opsForList().rightPop(...) 完全够用;但一旦要 BLPOP queue:high queue:low 0 这种多 key 阻塞,就必须用原生连接:

String[] keys = {"queue:high", "queue:low"};
Long timeoutSec = 0L;
RedisConnection conn = connectionFactory.getConnection();
try {
    List<byte> result = conn.bLPop(timeoutSec, keys);
    if (result != null && result.size() == 2) {
        String queueName = new String(result.get(0));
        String payload = new String(result.get(1));
        // 处理任务
    }
} finally {
    conn.close(); // 必须 close,否则连接泄漏
}</byte>
  • connectionFactory.getConnection() 返回的是短生命周期连接,不能复用或缓存
  • bLPop 方法参数顺序是 (timeout, keys...),不是 (keys..., timeout),反直觉
  • 返回的 List<byte></byte> 第一个元素是实际出队的 key 名,第二个才是值,别搞反

BRPOP 阻塞期间 Redis 宕机,消费者线程会卡死吗?

会,但不是无限卡死——取决于底层 Lettuce 或 Jedis 的 socket 超时配置。默认情况下,Lettuce 的 timeout 只控制命令响应,不控制阻塞等待本身;而 BRPOP 的阻塞是服务端维持的,客户端只是挂起读操作。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载

真正危险的是:Redis 进程崩溃或网络中断后,客户端 TCP 连接可能长时间处于 ESTABLISHED 状态,BRPOP 调用不返回,线程永远 hang 在那里。

  • 必须设置 clientOptions 中的 pingBeforeActivateConnection = true(Lettuce)
  • 在消费循环里加定期心跳检测:connection.ping() 或用 StatefulRedisConnection#isConnected()
  • 不要依赖 JVM shutdown hook 来清理阻塞线程,它无法中断 native socket wait
  • 生产环境建议配合 spring-boot-starter-quartz 做兜底巡检,发现消费线程僵死就重启实例

任务失败后如何把消息放回队首避免丢失?

LPUSH 把失败的任务插回队头,看似合理,实则埋雷:如果消费者刚取出来就崩溃,还没来得及处理,这条消息就会被反复取、反复失败、反复插回,形成“消息风暴”。正确的做法是“延迟重试”+“死信隔离”。

推荐组合:BRPOP 取出 → 业务处理 → 成功则 DEL(若用事务)或忽略;失败则 LPUSH 到带时间戳的重试队列,比如 retry:queue:202405201530,再由定时任务扫描触发。

  • 绝对不要在同一线程里同步 LPUSH 回原队列,这等于放弃顺序和幂等保障
  • 重试队列 key 命名带上时间片(如分钟级),方便 TTL 清理和按需扫描
  • 最终失败的消息应 RPUSHdlq:task(dead letter queue),而不是丢弃
  • Redis 的 LLEN 不适合做监控指标——高并发下不准,改用 INFO commandstats 里的 cmdstat_brpop 计数

最常被忽略的一点:BRPOP 的阻塞本质是 Redis 单线程事件循环在等数据,它不消耗 CPU,但会占用一个 client 连接。连接池配得太小,几百个消费者就会把连接耗尽,表现就是新连接建立超时,而不是命令超时。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

2025.08.06

2091

22

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

2026.01.26

377

25

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

3989

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

3495

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

6172

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

583

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

696

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

5542

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1120

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习