搜尋

首頁  >  問答  >  主體

如何用redis去重?

分別從幾個固定的網站上爬取資料;
為了url去重,我用的字串型儲存?還是用的sets型儲存?

需要儲存url數目,大概初期在100k-1000k之間。

过去多啦不再A梦过去多啦不再A梦2801 天前934

全部回覆(3)我來回復

  • 世界只因有你

    世界只因有你2017-04-25 09:04:08

    用redis集合
    連結

    回覆
    0
  • 巴扎黑

    巴扎黑2017-04-25 09:04:08

    用集合吧,集合的不重複性太適用了。

    回覆
    0
  • PHPz

    PHPz2017-04-25 09:04:08

    $key = 'URL_HASH';
    if(!$redis->hGet($key, md5($url))){
        // do something ...
        // 抓取一个 $url 后
        $redis->hSet($key, md5($url), true);
    }

    這裡要注意的是,如果是多執行緒的,要考慮其他行​​程,可以吧 bool 值改為枚舉值。

    回覆
    0
  • 取消回覆