ThinkPHP Redis HyperLogLog统计UV减少内存占用

胖涛小哥_9920

胖涛小哥_9920

2026-08-21

253人浏览

原创

redis hyperloglog 是 thinkphp 项目中将单日 uv 内存从 gb 级降至 12kb 的唯一方案,误差 ±0.81%,支持 pfadd/pfcount 操作,需按日期+业务域分片建 key、设过期、用稳定用户标识。

thinkphp redis hyperloglog统计uv减少内存占用

直接用 Redis HyperLogLog 替代 Set 存用户 ID,是 ThinkPHP 项目中唯一能将单日 UV 统计内存从 GB 级压到 12KB 的方案。它不存原始数据,只做概率估算,误差 ±0.81%,但对运营报表、大促看板完全够用。

ThinkPHP 8.0 中 pfAdd 和 pfCount 的调用方式

ThinkPHP 8.0 封装了 Redis 实例,无需手动 new Redis() 或引入扩展,直接走 cache + store 链路即可调用原生命令:

  • $this->cache->store('redis')->getRedis()->pfAdd('uv:20260817', $uid):传入字符串型 $uid(如 'user_12345' 或设备指纹哈希值),返回 1 表示该用户今日首次被识别,0 表示已存在——别拿返回值判断“写入失败”,网络异常会抛异常,不是返回 0
  • $this->cache->store('redis')->getRedis()->pfCount('uv:20260817'):返回整型估算值,注意结果可能为 null(key 不存在时),建议加空值判断或用 ?: 0
  • 单次 pfAdd 最多传 1024 个元素;超量不报错也不截断,低版本客户端可能静默丢弃,务必在业务层拆分

键名必须按日期+业务域隔离,不能复用

一个 HyperLogLog 固定占 12KB,但 key 复用会导致数据污染和无法下线:

redis-tools
redis-tools

按类别查找Redis命令、检测服务器连接、监控键数量和内存占用,支持离线速查表。

下载
  • ✅ 推荐格式:uv:page:home:20260817、uv:channel:wechat:20260817 —— 按页面/渠道+日期分片,便于后续合并或单独查
  • ❌ 禁止 uv:all、uv:total 这类长期 key:数据永远累积,PFCOUNT 结果只会越来越大,且无法区分时间维度
  • ❌ 禁止跨端混用:PC 端 user_id 和 App 端 device_id 写进同一个 key,会导致同一自然人被当成多人或一人多次去重
  • 每天首次写入后,顺手加过期:expire('uv:20260817', 86400 * 30),避免历史 key 永久堆积

用户标识必须稳定,严禁用 session_id 或随机 token

HyperLogLog 的去重能力完全依赖输入值的业务一致性:

  • ✅ 优先用登录态下的 $user->id(字符串化,如 (string)$user->id)
  • ✅ 未登录时 fallback 到设备指纹,例如:sha1($_SERVER['HTTP_USER_AGENT'] . $_SERVER['REMOTE_ADDR']),保证同一设备多次访问生成相同值
  • ❌ 禁用 session_id()、uniqid()、前端生成的临时 token:每次刷新都变,把一人计成多人
  • ❌ 空字符串 ''、纯数字 123 虽然命令层面合法,但若业务上无法代表唯一自然人,就会导致漏统或误统

PFCOUNT 多 key 合并的真实开销与风险

调用 pfCount('uv:20260815', 'uv:20260816', 'uv:20260817') 看周 UV,表面是读操作,实则暗藏性能陷阱:

  • 它等价于内存中临时 pfMerge 再估算,并集去重——不是简单相加,所以结果必然 ≤ 各日 UV 之和
  • 高并发下频繁多 key pfCount 会引发 Redis CPU 尖峰,因需实时合并 16384 个桶的哈希状态
  • 线上建议:日常监控只查单日 key;报表类任务用定时任务离线合并,避开流量高峰;不要在用户请求链路里实时跑 7 个 key 的 pfCount
  • 如果某天数据异常(如 key 丢失),多 key 合并不会报错,但估算值会偏低,且无法定位哪天出问题

最易被忽略的一点:HyperLogLog 不支持回溯。你永远没法知道“今天新增的 UV 里有多少来自微信”,它只回答“总数是多少”。需要渠道维度拆解,必须从源头分 key,而不是指望后期从一个大 key 里捞出来。

php免费学习视频:立即使用
踏上前端学习之旅,开启通往精通之路!从前端基础到项目实战,循序渐进,一步一个脚印,迈向巅峰!

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

thinkphp php redis

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

11384

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

6581

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

2175

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

4168

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

4894

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

3831

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

5517

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

4322

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

12262

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程