首頁  >  文章  >  資料庫  >  Redis怎麼進行去重? 4種去重方法淺析

Redis怎麼進行去重? 4種去重方法淺析

青灯夜游
青灯夜游轉載
2021-11-09 10:03:467877瀏覽

Redis怎麼進行去重?以下這篇文章跟大家介紹一下Redis去重的4種方法,希望對大家有幫助!

Redis怎麼進行去重? 4種去重方法淺析

這篇文章主要介紹了Redis實作唯一計數的3種方法分享,本文講解了基於SET、基於bit、基於HyperLogLog三種方法,需要的朋友可以參考下

唯一計數是網站系統中十分常見的一個功能特性,例如網站需要統計每天訪問的人數unique visitor (也就是UV)。計數問題很常見,但解決起來可能十分複雜:一是需要計數的量可能很大,比如大型的站點每天有數百萬的人訪問,數據量相當大;二是通常還希望擴展計數的維度,例如除了需要每天的UV,還想知道每週或每月的UV,導致計算十分複雜。 【相關推薦:Redis影片教學

在關聯式資料庫儲存的系統裡,實作唯一計數的方法就是select count(distinct ),它十分簡單,但如果資料量很大,這個語句執行是很慢的。用關聯式資料庫另外一個問題是插入資料效能也不高。

Redis 解決這類計數問題得心應手,相比關係資料庫速度更快,消耗資源更少,甚至提供了 3 種不同的方法。

1.基於set

Redis 的set 用來保存唯一的資料集合,透過它可以快速判斷某一個元素是否存在於集合中,也可以快速計算某一個集合的元素個數,另外和可以合併集合到一個新的集合。涉及的命令如下:

複製程式碼如下:

SISMEMBER key member  # 判断 member 是否存在
SADD key member  # 往集合中加入 member
SCARD key   # 获取集合元素个数

基於set 的方法簡單有效,計數精確,適用面廣,易於理解,它的缺點是消耗資源比較大(當然比起關聯式資料庫是少很多的),如果元素個數很大(例如上億的計數),消耗記憶體很恐怖。

2.基於bit

Redis 的bit 可以用來實現比set 記憶體高度壓縮的計數,它透過一個bit 1 或0 來儲存某個元素是否存在資訊。例如網站唯一訪客計數,可以把 user_id 作為 bit 的偏移量 offset,設定為 1 表示有訪問,使用 1 MB的空間就可以存放 800 多萬用戶的一天訪問計數情況。涉及的命令如下: 複製程式碼程式碼如下:

SETBIT key offset value  # 设置位信息
GETBIT key offset        # 获取位信息
BITCOUNT key [start end] # 计数
BITOP operation destkey key [key ...]  # 位图合并

基於bit 的方法比起set 空間消耗小得多,但是它要求元素能否簡單映射為位元偏移,適用面窄了不少,另外它消耗的空間取決於最大偏移量,和計數值無關,如果最大偏移量很大,消耗記憶體也相當可觀。

3.基於HyperLogLog

實現超大資料量精確的唯一計數都是比較困難的,但是如果只是近似的話​​,計算科學裡有很多高效的演算法,其中HyperLogLog Counting 就是其中非常著名的演算法,它可以僅使用12 k左右的內存,實現上億的唯一計數,而且誤差控制在百分之一左右。涉及的命令如下: 複製代碼代碼如下:

PFADD key element [element ...]  # 加入元素
PFCOUNT key [key ...]   # 计数

這種計數方法真的很神奇,其中涉及到統計學中的一些均勻分佈、隨機機率、伯努利分佈等,我也沒有徹底弄清楚,有興趣可以深入研究相關文章。

redis 提供的這三種唯一計數方式各有優劣,可以充分滿足不同情況下的計數要求。

4. 基於bloomfilter

BloomFilter是利用類似位圖或位元集合資料結構來儲存數據,利用位元組來簡潔的表示一個集合,並且能夠快速的判斷一個元素是不是已經存在於這個集合中。雖然BloomFilter不是100%準確,但可以透過調整參數,使用Hash函數的個數,位數組的大小來降低失誤率。這樣調節完全可以把失誤率降低到接近0。可以滿足大部分場景了。

假如此時有一個集合S = {x1, x2, … xn},Bloom Filter使用k個獨立的hash函數,分別將集合中的每一個元素映射到{1,…,m}的範圍。對於任何一個元素,被映射到的數字作為對應的位數組的索引,該位會被置為1。例如元素x1被hash函數映射到數字8,那麼位數組的第8位就會被置為1。下圖中集合S只有兩個元素x和y,分別被3個hash函數進行映射,映射到的位置分別為(0,3,6)和(4,7,10),對應的位會被置為1:

Redis怎麼進行去重? 4種去重方法淺析

現在假如要判斷另一個元素是否是在此集合中,只需要被這3個hash函數進行映射,查看對應的位置是否有0存在,如果有的話,表示此元素肯定不存在於這個集合,否則有可能存在。

redis使用布隆過濾器需要安裝外掛:https://blog.csdn.net/u013030276/article/details/88350641

更多程式相關知識,請造訪:程式設計入門! !

以上是Redis怎麼進行去重? 4種去重方法淺析的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:juejin.cn。如有侵權,請聯絡admin@php.cn刪除