Spring Boot使用Redis实现高效的数据过滤怎么做?

云墨小哥_5443

云墨小哥_5443

2026-07-21

722人浏览

原创

rbloomfilter需预设容量和误判率且不可变,依赖redis加载redisbloom模块,否则操作抛redisexception;初始化参数expectedinsertions应按总预计量设置,falseprobability推荐0.01;add()恒返true,contains()返回false表示绝对不存在,true表示可能存在;无remove方法,缓存穿透防护需严格保证db写→缓存set→bloom add顺序。

spring boot使用redis实现高效的数据过滤怎么做?

直接用 RBloomFilter 就能解决大部分数据过滤场景,但必须提前设好容量和误判率,否则上线后无法调整、查不到数据还报错。

为什么不能直接 new RBloomFilter()?

RBloomFilter 是 Redisson 对 RedisBloom 模块的封装,底层依赖 Redis 服务端加载了 redisbloom 模块(不是原生 Redis 自带)。如果 Redis 没装这个模块,tryInit() 会静默失败,后续 add() 或 contains() 全部抛 org.redisson.client.RedisException,错误信息类似 ERR unknown command 'BF.ADD'。

  • 确认 Redis 是否支持布隆过滤器:连上 Redis CLI,执行 BF.INFO test,返回 (error) ERR unknown command 就说明没装模块
  • Linux 下安装 redisbloom:编译 redisbloom.so,在 redis.conf 中加 loadmodule /path/to/redisbloom.so,重启 Redis
  • Spring Boot 启动时检查模块可用性:可在 BloomFilterUtil 初始化前调用 redissonClient.getNodesGroup().ping() + 手动发 BF.RESERVE 命令试探

RBloomFilter 初始化参数怎么选?

初始化时传的两个参数 —— expectedInsertions 和 falseProbability —— 决定了位数组大小和哈希轮数,一旦写入数据就不可更改。设小了,误判率飙升;设大了,浪费 Redis 内存(且无法回收)。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • expectedInsertions 不是“最大值”,而是“预计总插入量”。比如每天新增 10 万用户 ID,要支撑 30 天,就填 3_000_000,别填 10 万
  • falseProbability 推荐 0.01(1%)起步,0.001(0.1%)需多约 50% 内存。0.0001 以下基本不现实,位图膨胀太快
  • 实际内存占用 ≈ -expectedInsertions * ln(falseProbability) / (ln(2)^2) 字节,可用 redis-cli memory usage bloom-key 验证

add() 和 contains() 的行为边界在哪?

RBloomFilter.add() 总是返回 true(即使已存在),contains() 返回 false 表示“绝对不存在”,返回 true 表示“可能存在”——这是布隆过滤器的本质,不是 bug。

  • 不能靠 add() 返回值判断是否首次插入;要判断“是否已处理”,得组合业务逻辑(比如先 contains(),再 add() + 执行业务)
  • contains() 在 Redis 节点故障或网络超时时可能抛异常,不能当纯布尔函数用;建议外层加 try-catch,异常时走降级逻辑(如直查 DB)
  • 没有 remove() 方法。真需要删除,请换 Counting Bloom Filter 或改用 HyperLogLog + 白名单兜底

缓存穿透防护中容易漏掉的关键点

布隆过滤器挡不住“刚写入还没进过滤器”的请求,也挡不住“过滤器里有但缓存已过期”的请求,这两类都会打到 DB。

  • 写操作必须严格遵循:DB 写成功 → 缓存 set → bloomFilter.add()。顺序颠倒或缺少任一环,就会漏判
  • 缓存失效时,不要删布隆过滤器里的 key(根本删不了),而应在更新缓存后同步 add() 新值
  • 对热点 key,布隆过滤器本身也可能成瓶颈;可考虑按业务维度分片(如 user_bloom_001、user_bloom_002)分散压力

真正难的不是调通 API,而是把容量预估、模块依赖、异常路径、与缓存/DB 的协同节奏全理清楚——少一个环节,线上就可能突然开始漏过滤。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

2025.08.06

2251

22

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

2026.01.26

437

25

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4209

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

3695

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

6632

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

623

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

736

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

6162

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1140

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习