如何通过 BitSet 位图算法在十亿级数据中实现极速的用户签到与活跃统计

冬磊君_6070

冬磊君_6070

2026-04-24

417人浏览

原创

SETBIT是十亿级签到场景的核心命令,因其原子写入、自动扩容、1bit存储优势,避免GETBIT+SETBIT的额外开销;需确保offset连续、key按时间或分桶拆分,并警惕稀疏offset导致内存浪费。

如何通过 bitset 位图算法在十亿级数据中实现极速的用户签到与活跃统计

SETBIT

是你在十亿级签到场景里真正该盯住的第一个命令,不是 BITCOUNT,也不是 BITOP——它决定了你能不能把“签到”这个动作压进 1 bit,而不是浪费在字符串或整数上。

为什么必须用 SETBIT 而不是先存再查?

用户签到是典型的“写多读少+高并发+状态极简”场景。如果用 GETBIT 先查再 SETBIT 写,会多一次网络往返和一次 Redis 查找,QPS 上不去;而直接 SETBIT key offset 1 是原子写入,返回原值还能判断是否重复签到。

  • SETBIT 自动创建 key,无需预分配空间(未设置的位默认为 0)
  • offset 超过当前长度时,Redis 会自动填充中间的 0 字节,不报错也不丢数据
  • 注意:offset 最大支持 2^32−1(约 42 亿),对应 512MB 字符串上限,10 亿用户 × 365 天 = 365 亿位 → 超了,得按月/周分 key,比如 sign:202604:user1001

BITCOUNT 统计日活时,别漏掉时间窗口对齐

统计“今天活跃用户数”,不是简单跑一遍 BITCOUNT sign:20260417 就完事。真实业务中,日期和 offset 的映射必须严格对齐,否则跨月、跨年会错位。

  • 推荐方案:以自然日为单位,每天一个 key,offset = 当日是该月第几天 − 1(即 4 月 1 日 → offset 0,4 月 17 日 → offset 16)
  • 若用“自 Unix 时间戳起的天数”作 offset(如 timestamp / 86400),则 key 可复用,但需确保所有客户端时区一致,否则凌晨时段可能写错 day
  • BITCOUNT 默认统计整个字符串,如果只关心前 31 位(一个月),加参数 BITCOUNT sign:20260417 0 30(注意:第三个参数是字节索引,不是位索引!30 字节 = 240 位,要算准)

连续签到怎么算?BITOP + BITCOUNT 组合有坑

要找出“过去 7 天全签到”的用户,不能只靠单个 key 的 BITCOUNT,得把 7 个 key 做 AND 运算,再数结果中 1 的个数。但这里有两个关键约束:

  • BITOP AND destkey key1 key2 ... key7 要求所有 key 长度一致;如果某天 key 还没写过(比如新用户第一天签到),Redis 会把它当空字符串(全 0),导致 AND 结果全 0 —— 所以必须保证每天都有 key(哪怕全 0),可用 SET sign:20260410 "" 初始化
  • AND 结果保存在 destkey 中,该 key 会一直存在,下次再用得先 DEL 或重命名,否则污染后续统计
  • 更轻量的做法:用 Lua 脚本一次性读取 7 个 key 的对应位(如 offset=16 表示今天),逐位 AND,避免生成中间 key

内存真能压到 12.5MB?小心 offset 稀疏带来的浪费

理论计算:10 亿用户 × 1 bit = 12.5MB,前提是所有用户都集中在同一个 key 里且 offset 连续。但现实中,用户 ID 分布稀疏,比如用 user_id 作 offset,user_id=1 和 user_id=1000000000 同时存在,Redis 就得分配至少 1000000000 / 8 = 125MB 空间来容纳这两位 —— 中间全是 0 字节,但内存占着。

  • 正确做法:不用原始 user_id 当 offset,改用递增的内部 UID(如 MySQL 自增 id 或号段发号器),确保 offset 密集连续
  • 或者分桶:按 user_id % 1000 分成 1000 个 key,每个 key 的 offset = user_id / 1000,这样单 key 最大 offset 控制在百万级以内
  • 用 DEBUG OBJECT key 查看实际内存占用,比理论值高 2–3 倍很常见,这是 SDS 内存对齐和元数据开销导致的,不是 bug

真正卡住性能的,从来不是命令本身,而是 offset 怎么映射、key 怎么拆、空洞怎么填。这些细节不抠清楚,10 亿数据一跑就内存爆表或结果错乱。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

11457

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

8562

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

7372

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1224

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

988

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1476

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

3009

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20271

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1315

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习