PFMERGE 命令可合并多个 HyperLogLog,要求所有源 Key 类型均为 hyperloglog 且位于同一 Redis slot(集群需注意),合并后 PFCOUNT 返回并集基数估算值(误差率约 0.81%),不支持交集计算,时间复杂度 O(N),建议异步预合并避免阻塞。

PFMERGE 命令能直接合并两个 HyperLogLog,但必须确保源 Key 都是合法的 PF 类型
Redis 的 PFMERGE 是唯一原生支持 HyperLogLog 合并的操作,它把多个 PF 结构“按位或”合并,结果仍是合法的 HyperLogLog,误差率不变(约 0.81%)。但它不校验内容——如果某个 Key 实际是字符串、哈希或空值,PFMERGE 会直接报错 WRONGTYPE Operation against a key holding the wrong kind of value。
- 先用
TYPE检查:TYPE user:uv:202401和TYPE user:uv:202402必须都返回hyperloglog - 空 Key 可以参与合并(等价于全零结构),但若 Key 不存在,Redis 会自动创建一个空 HyperLogLog,不影响结果
- 不建议对刚
SET过的字符串 Key 直接PFMERGE,哪怕内容看起来像 Base64 编码的 HLL 内部数据——Redis 不解析内容,只认类型
合并后 PFCOUNT 返回的是去重总数,不是简单相加
HyperLogLog 本质是概率数据结构,PFMERGE 后调用 PFCOUNT 得到的是两组元素并集的基数估算值。它不会、也不能还原原始集合,所以你永远得不到“精确的 sum”。
- 例如:
PFADD uv:a "a" "b" "c"→PFCOUNT uv:a≈ 3;PFADD uv:b "c" "d" "e"→PFCOUNT uv:b≈ 3;但PFMERGE uv:total uv:a uv:b后,PFCOUNT uv:total≈ 5(因为 "c" 被去重) - 如果你误以为
PFCOUNT是可加的,拿它做“分段求和再平均”,结果会系统性高估(尤其当各段重叠率高时) - 没有内置方式获取交集或重叠比例——需要额外用布隆过滤器或服务端逻辑辅助估算
大 Key 合并可能阻塞主线程,单次操作耗时与输入 Key 数量线性相关
PFMERGE 是 O(N) 时间复杂度,N 是参与合并的 Key 个数(不是元素个数)。虽然每个 HyperLogLog 固定占 12k 内存,但 Redis 要逐字节做位运算,Key 多了就慢。线上观察过 100 个 Key 合并耗时超过 20ms,在高 QPS 场景下会拖累响应。
- 避免在请求链路中实时合并:比如用户查“近7天 UV”,不要每次
PFMERGE7 个 Key 再PFCOUNT,应提前异步合并好(如凌晨跑定时任务) - 合并目标 Key 最好用带时间戳的命名,如
uv:20240101-20240107,而不是反复覆盖uv:weekly——后者会导致并发写冲突和计数漂移 - 如果必须动态合并,优先用 Lua 脚本封装,减少网络往返,但注意脚本执行仍阻塞
跨实例或集群环境无法直接 PFMERGE,得靠应用层收拢
Redis Cluster 中,PFMERGE 要求所有 Key 落在同一 slot,否则报 CROSSSLOT Keys in request don't hash to the same slot。而不同日期的 Key(如 uv:202401, uv:202402)通常 hash 到不同节点——除非你用 {uv} 这种标签强制同槽,但这会牺牲数据分布均衡性。
- 更稳妥的做法:从各节点分别
PFCOUNT,拿到估算值后,在应用层用 LogLogMerge 算法(或直接取最大值+修正因子)粗略汇总——虽然精度下降,但可控 - 如果用 Redis Sentinel 或单实例,没这个问题,
PFMERGE可放心用 - 别指望
SCAN+PFADD拆解再重填来绕过限制:HLL 内部结构不可读,PFDEBUG仅限开发调试,生产禁用
真正麻烦的从来不是命令会不会用,而是你默认“合并=准确加总”这个假设——HyperLogLog 从设计上就拒绝给你准确数字,所有操作都要带着误差预算来设计。











