首頁 >資料庫 >Redis >redis中設定lru演算法的方法

redis中設定lru演算法的方法

尚
轉載
2020-05-23 08:58:154201瀏覽

redis中設定lru演算法的方法

1、設定Redis使用LRU演算法

LRU(Least Recently Used)最近最少使用演算法是眾多置換演算法中的一種。 
Redis中有一個maxmemory概念,主要是為了將使用的記憶體限定在固定的大小。 Redis用到的LRU 演算法,是一種近似的LRU演算法。

(1)設定maxmemory

上面已經說過maxmemory是為了限定Redis最大記憶體使用量。有多種方法設定它的大小。其中一個方法是透過CONFIG SET設定,如下:

127.0.0.1:6379> CONFIG GET maxmemory
1) "maxmemory"
2) "0"
127.0.0.1:6379> CONFIG SET maxmemory 100MB
OK
127.0.0.1:6379> CONFIG GET maxmemory
1) "maxmemory"
2) "104857600"

另一種方法是修改設定檔redis.conf:

maxmemory 100mb

注意,在64bit系統下,maxmemory設定為0表示不限制Redis記憶體使用,在32bit系統下,maxmemory隱式不能超過3GB。 
當Redis記憶體使用達到指定的限制時,就需要選擇一個置換的策略。

(2)置換策略

當Redis記憶體使用達到maxmemory時,需要選擇設定好的maxmemory-policy進行舊資料的置換。
以下是可以選擇的置換策略:

  • noeviction: 不進行置換,表示即使記憶體達到上限也不進行置換,所有能造成記憶體增加的指令都會回傳error

  • allkeys-lru: 優先刪除掉最近最不常使用的key,用以保存新資料

  • volatile-lru: 只從設置在失效(expire set)的key中選擇最近最不常使用的key進行刪除,用以保存新資料

  • allkeys-random: 隨機從all-keys中選擇一些key進行刪除,用以儲存新資料

  • volatile-random: 只從設定失效(expire set)的key中,選擇一些key進行刪除,用以儲存新資料

  • volatile-ttl: 只從設定失效(expire set)的key中,選出存活時間(TTL)最短的key進行刪除,用以儲存新資料

要注意的是:

(1)設定maxmemory-policy的方法和設定maxmemory方法類似,透過redis.conf或是透過CONFIG SET動態修改。

(2)如果沒有匹配到可以刪除的key,那麼volatile-lru、volatile-random和volatile-ttl策略和noeviction替換策略一樣——不對任何key進行置換。

(3)選擇合適的置換策略是很重要的,這主要取決於你的應用程式的存取模式,當然你也可以動態的修改置換策略,並透過用Redis指令-INFO去輸出cache的命中率情況,進而可以對置換策略進行調優。

一般來說,有這樣一些常用的經驗:

  • 在所有的key都是最近最經常使用,那麼就需要選擇allkeys-lru進行置換最近最不常使用的key,如果你不確定要使用哪種策略,那麼建議使用allkeys-lru。

  • 如果所有的key的存取機率都是差不多的,那麼可以選用allkeys-random策略去置換資料。

  • 如果對資料有足夠的了解,能夠為key指定hint(透過expire/ttl指定),那麼可以選擇volatile-ttl進行置換。

volatile-lru 和 volatile-random經常在一個Redis實例既做cache又做持久化的情況下用到,然而,更好的選擇使用兩個Redis實例來解決這個問題。

設定是失效時間expire會佔用一些內存,而採用allkeys-lru就沒有必要設定失效時間,進而更有效的利用內存。

(3)置換策略是如何運作的

理解置換策略的執行方式是非常重要的,例如:

  1. 客戶端執行一條新指令,導致資料庫需要增加資料(例如set key value)

  2. #Redis會檢查記憶體使用,如果記憶體使用超過maxmemory,就會依照置換策略刪除一些key

  3. 新的指令執行成功

#我們持續的寫資料會導致記憶體達到或超出上限maxmemory,但是置換策略會將記憶體使用降低到上限以下。

如果一次需要使用很多的記憶體(例如一次寫入一個很大的set),那麼,Redis的記憶體使用可能超出最大記憶體限制一段時間。

(4)近似LRU演算法

Redis中的LRU不是嚴格意義上的LRU演算法實現,是近似的LRU實現,主要是為了節約內存佔用以及提升效能。 Redis有這樣一個配置-maxmemory-samples,Redis的LRU是取出配置的數目的key,然後從中選擇一個最近最不經常使用的key進行置換,預設的5,如下:

maxmemory-samples 5

可以透過調整樣本數量來取得LRU置換演算法的速度或精確性方面的優勢。

Redis不採用真正的LRU實作的原因是為了節約記憶體使用。雖然不是真正的LRU實現,但是它們在應用上幾乎是等價的。下圖是Redis的近似LRU實現和理論LRU實現的對比:

redis中設定lru演算法的方法

测试开始首先在Redis中导入一定数目的key,然后从第一个key依次访问到最后一个key,因此根据LRU算法第一个被访问的key应该最新被置换,之后再增加50%数目的key,导致50%的老的key被替换出去。 

在上图中你可以看到三种类型的点,组成三种不同的区域:

  1. 淡灰色的是被置换出去的key

  2. 灰色的是没有被置换出去的key

  3. 绿色的是新增加的key

理论LRU实现就像我们期待的那样,最旧的50%数目的key被置换出去,Redis的LRU将一定比例的旧key置换出去。

可以看到在样本数为5的情况下,Redis3.0要比Redis2.8做的好很多,Redis2.8中有很多应该被置换出去的数据没有置换出去。在样本数为10的情况下,Redis3.0很接近真正的LRU实现。

LRU是一个预测未来我们会访问哪些数据的模型,如果我们访问数据的形式接近我们预想——幂律,那么近似LRU算法实现将能处理的很好。

在模拟测试中我们可以发现,在幂律访问模式下,理论LRU和Redis近似LRU的差距很小或者就不存在差距。

如果你将maxmemory-samples设置为10,那么Redis将会增加额外的CPU开销以保证接近真正的LRU性能,可以通过检查命中率来查看有什么不同。

通过CONFIG SET maxmemory-samples 动态调整样本数大小,做一些测试验证你的猜想。

2、LRU的实现

<?php
/**
 * LRU是最近最少使用页面置换算法(Least Recently Used),也就是首先淘汰最长时间未被使用的页面
 */
class LRU_Cache
{

    private $array_lru = array();
    private $max_size = 0;

    function __construct($size)
    {
        // 缓存最大存储
        $this->max_size = $size;
    }

    public function set_value($key, $value)
    {
        // 如果存在,则向队尾移动,先删除,后追加
        // array_key_exists() 函数检查某个数组中是否存在指定的键名,如果键名存在则返回true,如果键名不存在则返回false。
        if (array_key_exists($key, $this->array_lru)) {
            // unset() 销毁指定的变量。
            unset($this->array_lru[$key]);
        }
        // 长度检查,超长则删除首元素
        if (count($this->array_lru) > $this->max_size) {
            // array_shift() 函数删除数组中第一个元素,并返回被删除元素的值。
            array_shift($this->array_lru);
        }
        // 队尾追加元素
        $this->array_lru[$key] = $value;
    }

    public function get_value($key)
    {
        $ret_value = false;

        if (array_key_exists($key, $this->array_lru)) {
            $ret_value = $this->array_lru[$key];
            // 移动到队尾
            unset($this->array_lru[$key]);
            $this->array_lru[$key] = $ret_value;
        }

        return $ret_value;
    }

    public function vardump_cache()
    {
        echo "<br>";
        var_dump($this->array_lru);
    }
}

$cache = new LRU_Cache(5);                          // 指定了最大空间 6
$cache->set_value("01", "01");
$cache->set_value("02", "02");
$cache->set_value("03", "03");
$cache->set_value("04", "04");
$cache->set_value("05", "05");
$cache->vardump_cache();
echo "<br>";

$cache->set_value("06", "06");
$cache->vardump_cache();
echo "<br>";

$cache->set_value("03", "03");
$cache->vardump_cache();
echo "<br>";

$cache->set_value("07", "07");
$cache->vardump_cache();
echo "<br>";

$cache->set_value("01", "01");
$cache->vardump_cache();
echo "<br>";

$cache->get_value("04");
$cache->vardump_cache();
echo "<br>";

$cache->get_value("05");
$cache->vardump_cache();
echo "<br>";

$cache->get_value("10");
$cache->vardump_cache();
echo "<br>";

更多redis知识请关注redis入门教程栏目。

以上是redis中設定lru演算法的方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:cnblogs.com。如有侵權,請聯絡admin@php.cn刪除