首頁  >  文章  >  資料庫  >  Redis的過期策略和記憶體淘汰策略怎麼用

Redis的過期策略和記憶體淘汰策略怎麼用

PHPz
PHPz轉載
2023-06-04 09:14:421243瀏覽

1 設定有過期時間的 key

expire key seconds
时间复杂度:O(1)

設定key的過期時間。逾時後,將會自動刪除該key。在Redis的術語中一個key的相關超時是volatile的。

逾時後只有在key執行DEL、SET、GETSET時才會清除。這意味著,從概念上講所有改變key而不用新值替換的所有操作都將保持逾時不變。例如,使用INCR 遞增key的值,執行LPUSH 將新值推到list 中或用HSET 改變hash的field,這些操作都使超時保持不變。

  • 使用PERSIST 指令可以清除逾時,使其變成一個永久key

  • keyRENAME 指令修改,相關的逾時時間會轉移到新key

  • keyRENAME 指令修改,例如原來存在Key_A,然後呼叫RENAME Key_B Key_A 指令,這時不管原來Key_A 是永久的還是設為逾時的,都會由Key_B的有效期狀態覆蓋

注意,使用非正超時呼叫EXPIRE/PEXPIRE 或具有過去時間的EXPIREAT/PEXPIREAT 將導致key被刪除而不是過期(因此,發出的key事件將是del,而不是過期)。

1.1 刷新過期時間

對已經有過期時間的key執行EXPIRE操作,將會更新它的過期時間。有許多應用程式有這種業務場景,例如記錄會話的session。

1.2 Redis 之前的 2.1.3 的差異

在 Redis 版本之前 2.1.3 中,使用更改其值的命令更改具有過期集的密鑰具有完全刪除key的效果。由於現在修復的複製層中存在限制,因此需要此語義。

EXPIRE 將傳回 0,並且不會更改具有逾時集的鍵的逾時。

1.3 傳回值

  • 1 如果成功設定過期時間。

  • 0 如果key不存在或無法設定過期時間。

1.4 範例

Redis的過期策略和記憶體淘汰策略怎麼用

#假設有一Web 服務,對使用者最近造訪的最新N 頁感興趣,這樣每個相鄰頁面視圖在上一個頁面之後不超過60 秒。從概念上講,可以將這組頁面視圖視為用戶的導航會話,該會話可能包含有關ta當前正在尋找的產品的有趣信息,以便你可以推薦相關產品。

可使用以下策略輕鬆在Redis 中對此模式建模:每次使用者執行頁面視圖時,您都會呼叫以下命令:

MULTI
RPUSH pagewviews.user:<userid> http://.....
EXPIRE pagewviews.user:<userid> 60
EXEC</userid></userid>

如果使用者空閒超過60 秒,則將刪除該key,並且僅記錄差異小於60 秒的後續頁面視圖。此模式很容易修改,使用 INCR 而不是使用 RPUSH 的清單。

1.5 帶有過期時間的 key

通常,在建立 Redis 鍵時沒有關聯的存活時間。 key將永存,除非使用者以明確方式(例如 DEL 指令)將其刪除。使用EXPIRE指令可以與給定的key關聯過期項,但這將導致該key佔用額外的記憶體。 Redis 將會在指定時間後自動刪除具有過期集的key以確保資料不會過期。可使用 EXPIRE 和 PERSIST 命令(或其他嚴格命令)更新或完全刪除生存的關鍵時間。

1.6 過期精度

Redis 2.4 中的過期時間可能不精確,在 0 到 1 秒之間波動。由於 Redis 2.6,過期誤差從 0 到 1 毫秒。

1.7 過期且持久化

將過期資訊的鍵儲存為絕對 Unix 時間戳,毫秒級的儲存方式適用於 Redis 2.6 版本及更高版本。這意味著即使 Redis 實例不處於活動狀態,時間也在流動。要使過期運作良好,必須穩定電腦時間。若將 RDB 檔案從兩台電腦上移動,其時鐘中具有大 desync,則可能會發生有趣的事情(如載入時載入到過期的所有key)。即使運行時的實例,也始終會檢查計算機時鐘,例如,如果將一個key設置為 1000 秒,然後在將來設置計算機時間 2000 秒,則該key將立即過期,而不是持續 1000 秒。

2 Redis 如何讓key過期

鍵的過期方式有兩種:被動方式 - 惰性刪除,主動方式 - 定期刪除。

2.1 惰性刪除

當客戶端嘗試存取key時,key會被動過期,即Redis會檢查該key是否設定了過期時間,如果過期了就會刪除,也不會返回任何東西。 Redis不會自動刪除key,而是在查詢該key時,Redis會懶惰地檢查是否已被刪除。這和 spring 的延遲初始化有著異曲同工之妙。

当然,这是不够的,因为有过期的key,永远不会再访问。无论如何,这些key都应过期,因此请定期 Redis 在具有过期集的key之间随机测试几个key。已过期的所有key将从key空间中删除。

2.2 定期删除

具体来说,如下 Redis 每秒 10 次:

  1. 测试 20 个带有过期的随机键

  2. 删除找到的所有已过期key

  3. 如果超过 25% 的key已过期,从步骤 1 重新开始

这是一个微不足道的概率算法,基本上假设我们的样本代表整个key空间,继续过期,直到可能过期的key百分比低于 25%。在任何特定时刻,已失效的最大键数等于每秒最大写入操作数除以4,这是由内存使用所决定的。

2.3 在复制链路和 AOF 文件中处理过期的方式

为了在不牺牲一致性的情况下获得正确行为,当key过期时,DEL 操作将同时在 AOF 文件中合成并获取所有附加的从节点。这样做的好处是能够将过时的处理过程集中在主节点中,避免出现一致性错误的可能性。

但是,虽然连接到主节点的从节点不会独立过期key(但会等待来自master的 DEL),但它们仍将使用数据集中现有过期的完整状态,因此,当选择slave作为master时,它将能够独立过期key,完全充当master。

由于您没有及时查找和删除大量过期key,这些过期key在Redis中堆积,导致内存严重耗尽

因此还需有内存淘汰机制!

3 内存淘汰

3.1 内存淘汰策略

Redis的過期策略和記憶體淘汰策略怎麼用

noeviction(Redis默认策略)

写请求无法继续服务 (DEL 请求除外),但读请求可以继续进行。这样 可以保证不会丢失数据,但是会让线上的业务不能持续进行。

  • config.c

createEnumConfig("maxmemory-policy", NULL, 
	MODIFIABLE_CONFIG, maxmemory_policy_enum, 
		server.maxmemory_policy, 
			MAXMEMORY_NO_EVICTION, NULL, NULL),

allkeys-random

当内存不足以容纳新写入数据时,在键空间中,随机移除某key。凭啥随机呢,至少也是把最近最少使用的key删除。

allkeys-lru(Least Recently Used)

当内存不足以容纳新写入数据时,在键空间中,移除最近最少使用的key,没有设置过期时间的 key 也会被淘汰。

allkeys-lfu(Least Frequently Used)

LRU的关键是看页面最后一次被使用到发生调度的时间长短,而LFU关键是看一定时间段内页面被使用的频率

volatile-lru

优先淘汰最少使用的 key,其中包括设置了过期时间的 key。 没有设置过期时间的 key 不会被淘汰,这样可以保证需要持久化的数据不会突然丢失。与allkey-lru不同,这种策略仅淘汰过期的键集合。

volatile-lfu

volatile-random

淘汰的 key 是过期 key 集合中随机的 key。

volatile-ttl

淘汰的策略不是 LRU,而是 key 的剩余寿命 ttl 的值,ttl 越小越优先被淘汰。

volatile-xxx 策略只会针对带过期时间的 key 进行淘汰,allkeys-xxx 策略会对所有的 key 进行淘汰。

  • 如果你只是拿 Redis 做缓存,那应该使用 allkeys-xxx,客户端写缓存时不必携带过期时间。

  • 如果你还想同时使用 Redis 的持久化功能,那就使用 volatile-xxx 策略,这样可以保留没有设置过期时间的 key,它们是永久的 key 不会被 LRU 算法淘汰。

3.2 手写LRU

确实有时会问这个,因为有些候选人如果确实过五关斩六将,前面的问题都答的很好,那么其实让他写一下LRU算法,可以考察一下编码功底

你可以现场手写最原始的LRU算法,那个代码量太大了,不太现实

public class LRUCache<k> extends LinkedHashMap<k> {
    
private final int CACHE_SIZE;

    // 这里就是传递进来最多能缓存多少数据
    public LRUCache(int cacheSize) {
    	//  true指linkedhashmap将元素按访问顺序排序
        super((int) Math.ceil(cacheSize / 0.75) + 1, 0.75f, true);
        CACHE_SIZE = cacheSize;
    }

    @Override
    protected boolean removeEldestEntry(Map.Entry eldest) {
    	 // 当KV数据量大于指定缓存个数时,就自动删除最老数据
        return size() > CACHE_SIZE;
    }

}</k></k>

以上是Redis的過期策略和記憶體淘汰策略怎麼用的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:yisu.com。如有侵權,請聯絡admin@php.cn刪除