如何利用Redis Bitmaps实现亿级用户签到统计_通过SETBIT按位存储

千墨君_4282

千墨君_4282

2026-05-30

247人浏览

原创

不能直接用用户ID当offset,因会导致内存爆炸、命令超时及实例阻塞;必须映射为连续小整数offset,并按日期分key、按序号分片,才能保障亿级签到的内存与性能可控。

如何利用redis bitmaps实现亿级用户签到统计_通过setbit按位存储

直接用 SETBIT 按用户 ID 当 offset 存签到,对亿级用户来说是高危操作——不是不能用,而是极易因 offset 过大、稀疏或类型错乱导致内存爆炸、命令超时甚至阻塞实例。

为什么不能直接用用户 ID 当 offset?

Redis 的 SETBIT 会为指定 offset 分配完整内存块(底层是字符串),哪怕只设一个 bit。比如执行 SETBIT sign:202605 999999999 1,Redis 会分配约 125MB 内存(999999999 / 8 + 1 字节),而实际只用了 1 个 bit。

  • 用户 ID 是 UUID 或随机 long(如雪花 ID)时,offset 极度稀疏,单 key 动辄几百 MB
  • 用户 ID 跨越大范围但活跃度低(如最大 ID 是 2 亿,日活仅 50 万),位图有效利用率低于 0.0003%
  • BITCOUNT 扫描整个分配空间,耗时与分配长度正相关,不是与 1 的个数正相关

正确做法:按时间维度建 key + 用户 ID 映射 offset

把「日期」作为 key 主体,「用户」转为紧凑 offset,才能压住内存和延迟。典型结构:sign:20260526 表示 2026 年 5 月 26 日全量签到位图,每位对应一个用户。

Sentinal Redis
Sentinal Redis

监控Redis服务器健康状况、内存、性能及BullMQ队列。检查队列深度、失败任务,分析慢查询并诊断问题。

下载
  • 必须先将用户 ID 映射为连续小整数:用 Redis INCR 维护全局用户序号,或离线预生成 uid → seq 映射表(如 MySQL 自增映射)
  • offset = 映射后的序号,不是原始 UID;例如用户原始 ID 为 10086,映射后 seq=42,则执行 SETBIT sign:20260526 42 1
  • key 命名建议带业务前缀+日期,如 sign:app_v2:20260526,避免与其他 string 混淆
  • 首次写入无需初始化,GETBIT 对空 key 返回 0,BITCOUNT 返回 0 —— 但要注意这不等于“当天没人签到”,得结合业务确认 key 是否应存在

当用户量真到亿级时,必须分片

即使做了 UID 映射,单日 1 亿用户也意味着位图约 12.5MB(1e8 / 8),BITCOUNT 仍可能达毫秒级,且主从同步、RDB/AOF 序列化压力陡增。

  • 推荐按用户序号取模分片:如 sign:20260526:0 存 seq % 64 == 0 的用户,共 64 个 key
  • 查单个用户:先算 seq % 64 得分片号,再 GETBIT sign:20260526:{shard} {seq / 64}
  • 统计当日总人数:并发执行 64 次 BITCOUNT sign:20260526:{i},客户端累加 —— 注意别用 MGET + 客户端位运算,BITOP 不支持跨 key 聚合
  • 64 分片下,单 key 控制在 ~200KB,BITCOUNT 稳定在 0.1ms 内,内存碎片也更可控

容易被忽略的三个硬坑

很多人调通了 SETBIT 就以为万事大吉,结果上线后出问题才返工:

  • SETBIT 和 APPEND / INCR 绝对不能混用同一个 key —— 会破坏位布局,后续 GETBIT 返回不可预测值
  • key 类型错误不会提前报:如果该 key 已存为 hash,再执行 SETBIT 直接报 WRONGTYPE Operation against a key holding the wrong kind of value,且无法自动转换
  • 没设 expire:签到 key 如 sign:20260526 必须配 TTL(如 90 天),否则历史数据无限堆积,KEYS 都扫不出哪些是 Bitmap

相关专题

更多
golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

2025.09.05

750

5

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

2025.11.16

343

7

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

2025.11.17

553

20

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

2025.11.27

323

6

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

5009

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4595

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

8952

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

683

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

776

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go-Zero官方文档
Go-Zero官方文档

共0课时 | 0人学习