为什么使用Redis BitMap统计月活跃用户DAU性能远超传统数据库

星杰姑娘_6297

星杰姑娘_6297

2026-09-11

702人浏览

原创

bitcount快是因为o(1)预计算+内存位扫描,直接调用cpu的popcnt指令遍历sds缓冲区统计1的个数,无需磁盘i/o或临时表去重。

为什么使用redis bitmap统计月活跃用户dau性能远超传统数据库

因为 BITCOUNT 是 O(1) 预计算 + 内存位扫描,而 MySQL 的 COUNT(DISTINCT user_id) 是 O(N) 磁盘行扫描 + 临时表去重

BITCOUNT 为什么快:它不查数据,只数内存里的 1

Redis 的 BITCOUNT 命令底层直接遍历字符串对象的 SDS 缓冲区,按字节查汉明重量(popcount),现代 CPU 有 POPCNT 指令,单字节只需 1 个 CPU 周期。哪怕一个 key 存了 1000 万用户状态(约 1.25MB),整个统计也控制在

对比 MySQL:

  • 没有索引时,SELECT COUNT(DISTINCT user_id) FROM dau_log WHERE dt = '20260901' 必须全表扫描 + 构建哈希临时表
  • 有索引也需回表或覆盖索引,但 B+ 树深度随数据增长,且并发 COUNT 容易触发行锁/间隙锁争用
  • 日志表分区再大,I/O 和 buffer pool 压力仍在线性上升

Bitmap 存储密度碾压传统方案

1 个用户 = 1 bit,不是 1 行、不是 1 个 String key、也不是 1 个 Set 成员:

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • SETBIT active:20260901 12345678 1:用户 ID 直接当 offset,写入仅 1 bit
  • 1000 万用户 → 占用 ~1.25MB 内存;MySQL 同等规模至少 500MB(含主键、时间字段、索引)
  • 内存带宽远高于磁盘随机读,且 Redis 全内存操作无上下文切换开销

DAU 统计场景下,Bitmap 天然支持原子聚合与时间切片

月活(MAU)不是简单加总 30 个 DAU,而是 BITOR 合并 30 个 bitmap 后再 BITCOUNT —— 整个过程在服务端完成,网络往返仅 1 次:

  • BITOP OR mau_202609 active:20260901 active:20260902 ... active:20260930
  • 命令原子执行,无需客户端加锁或事务协调
  • 若用 MySQL,得 UNION ALL 30 张分区表再 DISTINCT,执行计划极易退化,超时风险高
  • 更关键的是:Bitmap key 可带 TTL(如 EXPIRE active:20260901 86400),过期自动清理;MySQL 清理需定时 DELETE,容易锁表

容易被忽略的硬约束:offset 上限和 key 设计必须严谨

实际落地时,性能优势会因两个细节瞬间归零:

  • 用户 ID 若为 int64 且含负值,直接传给 SETBIT 会溢出成极大正数(如 -1 → 18446744073709551615),触发 Redis realloc 卡顿甚至 OOM
  • key 名若不带日期(如恒用 active),BITCOUNT 扫描范围失控,百亿用户 bitmap 达 12.5GB,一次调用阻塞主线程数十毫秒
  • 禁止对 bitmap key 设置长期 EXPIRE:因为 SETBIT 不刷新 TTL,key 会永久残留,必须靠业务侧按天生成新 key + 定时 DEL

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

2025.09.05

390

5

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

2025.11.16

323

7

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

2025.11.17

473

20

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

2025.11.27

243

6

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

3989

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

3475

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

6132

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

583

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

696

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习