Spring Boot整合Redis中Scan命令如何替代大范围Keys查询?

落萱酱_8816

落萱酱_8816

2026-10-24

661人浏览

原创

scan不能直接替代keys,因为它是游标驱动的渐进式迭代过程,需手动循环处理cursor、分批逻辑及集群节点遍历,否则易漏数据、卡主节点或连接泄漏。

spring boot整合redis中scan命令如何替代大范围keys查询?

SCAN 能安全替代 KEYS,但必须手动处理游标、分批逻辑和集群适配,否则照样卡主节点或漏数据。

为什么 SCAN 不能直接写成 keys("user:*") 那样用?

因为 SCAN 是游标驱动的迭代过程,不是一次返回全部结果的函数。Redis 返回的响应里第一个值是下一次要传的 cursor,只有当它变成 0 才算结束。你如果只调一次 scan(...),大概率只拿到几百个 key 就停了——这不是 bug,是设计使然。

常见错误现象:

  • 用 redisTemplate.execute() 只调一次 connection.scan(),结果只返回几十个 key,还以为匹配不到
  • 没关闭 Cursor,导致连接泄漏,RedisConnectionUtils.releaseConnection 报 warning
  • 在循环里反复 new ScanOptions,但没设 count,实际每次只扫约 10 个 key,遍历百万 key 要几万轮

正确做法是显式循环 + 游标更新:

Cursor<byte> cursor = connection.scan(options);
while (cursor.hasNext()) {
    byte[] key = cursor.next();
    keys.add(new String(key));
}
cursor.close(); // 必须关</byte>

如何控制每次 SCAN 的数量并避免慢扫描?

COUNT 参数不是硬限制,只是 Redis 的“提示”——它会影响单次返回 key 数量和底层哈希桶遍历粒度。设太小(如 count=10)会导致游标跳转频繁、网络往返多;设太大(如 count=10000)可能单次耗时突增,尤其 key 分布不均时。

推荐策略:

  • 线上环境统一用 count=500~1000,平衡延迟与轮数
  • 避免用 Integer.MAX_VALUE,这会让 SCAN 退化成近似 KEYS 的行为
  • 如果 match 模式太宽(如 *:*),即使 count=100 也可能返回空数组——这不是没匹配到,是当前游标所在桶恰好没符合项

示例配置:

redis-tools
redis-tools

按类别查找Redis命令、检测服务器连接、监控键数量和内存占用,支持离线速查表。

下载
ScanOptions options = ScanOptions.scanOptions()
    .match("user:*")
    .count(800)
    .build();

Redis 集群环境下 SCAN 为什么容易漏 key 或报错?

集群模式下,SCAN 命令只能作用于单个节点,而 key 是按 slot 分散的。如果你只连一个 master 节点执行 SCAN 0 MATCH user:*,那只会扫到落在该节点上的 key,其余 slot 的 key 完全不会出现。

典型错误:

  • 直接对 JedisCluster 或 LettuceClusterClient 调 scan(),抛 UnsupportedOperationException
  • 用 redisTemplate.getConnectionFactory().getClusterConnection() 拿到连接后,没遍历所有 master 节点就退出
  • 把不同 slot 的 key 混在一起批量删除,触发 JedisDataException: MOVED 或 CROSSSLOT

必须显式获取所有 master 节点,逐个 scan:

Map<string jedispool> nodes = jedisCluster.getClusterNodes();
for (JedisPool pool : nodes.values()) {
    try (Jedis jedis = pool.getResource()) {
        if (!jedis.info("replication").contains("role:slave")) {
            // 只对 master 扫
            ScanResult<string> result = jedis.scan(cursor, scanParams);
            // 合并结果...
        }
    }
}</string></string>

SCAN 结果要不要去重?能保证不重复吗?

不能保证。SCAN 是基于哈希表桶顺序的伪随机遍历,且 Redis 允许在遍历过程中增删 key。这意味着:

  • 新增的 key 可能被扫到 0 次或 2 次(取决于插入位置和游标进度)
  • 删除的 key 如果已被 cursor 越过,就不会出现在结果里
  • 同一轮多次 scan 同一 pattern,结果集大小可能不一致

所以:如果你后续要 delete 这些 key,别依赖 SCAN 结果做幂等判断;如果业务要求“强一致快照”,SCAN 不适用,得换方案(比如用有序集合预存 key 列表,或加外部协调服务)。

最容易被忽略的一点:SCAN 的弱一致性不是缺陷,而是权衡。你接受它漏/重的概率,换来的是 Redis 主线程不卡、监控曲线平稳、上下游接口不超时——这个 trade-off 在绝大多数缓存治理场景里,远比“精确但阻塞”更值得选。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis spring boot

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

2025.08.06

2651

22

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

2026.01.26

477

25

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4589

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4155

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

7752

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

643

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

756

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

7742

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1160

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习