實例詳解Redis實現資料的交集、並集和補集
- WBOY轉載
- 2022-06-02 12:01:452816瀏覽
本篇文章為大家帶來了關於Redis的相關知識，其中主要介紹了關於實現資料的交集、並集和補集的相關問題，如果全部在JVM記憶體中進行計算的話，很容易出現記憶體空間不足導致的OOM異常，下面一起來看一下，希望對大家有幫助。
推薦學習：Redis影片教學
#場景說明
今天我們來模擬一個這樣的場景，我們在本地有多個文字文件，每個文件裡面存了很多的32位的字串作為用戶的唯一標識，每個用戶存做一行，假如我們每天都有非常大規模的用戶，這樣我們可能在工作中就存在需要對這些使用者進行交集、並集或補集等處理，最簡單的方式是透過Java中的集合來進行運算即可，例如透過HashSet來進行對應的一些運算，但是這樣的運算存在一個局限性，那就是我們一般在JVM運行過程中初始的內存是有限的，這樣如果全部在JVM內存中進行計算的話，很容易出現內存空間不足導致的OOM異常，那麼我們今天來介紹一種拓展性較強的方式來進行這樣的一些交並補的運算：透過Redis來實現資料的交集、並集、補集
環境說明
Redis版本： Redis 6.0.6
Jedis版本：4.2.2
工具類別hutool版本：5.8.0.M3
pom檔：
<dependencies> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>4.2.2</version> </dependency> <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.8.0.M3</version> </dependency></dependencies>
#交並補計算
##初始化常數public class RedisCalculateUtils {
static String oneFileString = "/Users/tmp/test-1.txt";
static String twoFileString = "/Users/tmp/test-2.txt";
static String diffFileString = "/Users/tmp/diff-test.txt";
static String interFileString = "/Users/tmp/inter-test.txt";
static String unionFileString = "/Users/tmp/union-test.txt";
static String oneFileCacheKey = "oneFile";
static String twoFileCacheKey = "twoFile";
static String diffFileCacheKey = "diffFile";
static String interFileCacheKey = "interFile";
static String unionFileCacheKey = "unionFile";
}
初始化資料到指定檔案/**
* 初始化数据并写入文件中
*/public static void writeFile() {
File oneFile = new File(oneFileString);
List<String> fs = new ArrayList<>(10000);
for (int i = 10000; i < 15000; i++) {
String s = SecureUtil.md5(String.valueOf(i));
fs.add(s);
}
FileUtil.writeUtf8Lines(fs, oneFile);
File twoFile = new File(twoFileString);
fs.clear();
for (int i = 12000; i < 20000; i++) {
String s = SecureUtil.md5(String.valueOf(i));
fs.add(s);
}
FileUtil.writeUtf8Lines(fs, twoFile);
}
指定檔案寫入Redis/**
* 读取文件数据并写入Redis
*/public static void writeCache() {
try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
Pipeline p = jedis.pipelined();
List<String> oneFileStringList = FileUtil.readLines(oneFileString, "UTF-8");
for (String s : oneFileStringList) {
p.sadd(oneFileCacheKey, s);
}
p.sync();
List<String> twoFileStringList = FileUtil.readLines(twoFileString, "UTF-8");
for (String s : twoFileStringList) {
p.sadd(twoFileCacheKey, s);
}
p.sync();
} catch (Exception e) {
throw new RuntimeException(e);
}}
差集的計算 /**
* oneKey对应的Set 与 twoKey对应的Set 的差集 并写入 threeKey
* @param oneKey 差集前面的集合Key
* @param twoKey 差集后面的集合Key
* @param threeKey 差集结果的集合Key
*/
public static void diff(String oneKey, String twoKey, String threeKey) {
try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
long result = jedis.sdiffstore(threeKey, oneKey, twoKey);
System.out.println("oneKey 与 twoKey 的差集的个数：" + result);
} catch (Exception e) {
throw new RuntimeException(e);
}
}
差集計算結果寫入到指定檔案 /**
* 将计算的差集数据写入到指定文件
*/
public static void writeDiffToFile() {
File diffFile = new File(diffFileString);
try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
Set<String> result = jedis.smembers(diffFileCacheKey);
FileUtil.writeUtf8Lines(result, diffFile);
} catch (Exception e) {
throw new RuntimeException(e);
}
}
交集的計算/**
*
* @param cacheKeyArray 交集集合Key
* @param destinationKey 交集集合结果Key
*/
public static void inter(String[] cacheKeyArray, String destinationKey) {
try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
long result = jedis.sinterstore(destinationKey, cacheKeyArray);
System.out.println("cacheKeyArray 的交集的个数：" + result);
} catch (Exception e) {
throw new RuntimeException(e);
}
}
交集計算結果寫入指定檔案 /**
* 将计算的交集数据写入到指定文件
*/
public static void writeInterToFile() {
File interFile = new File(interFileString);
try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
Set<String> result = jedis.smembers(interFileCacheKey);
FileUtil.writeUtf8Lines(result, interFile);
} catch (Exception e) {
throw new RuntimeException(e);
}
}
並集的計算# /**
* 计算多个Key的并集并写入到新的Key
* @param cacheKeyArray 求并集的Key
* @param destinationKey 并集结果写入的KEY
*/
public static void union(String[] cacheKeyArray, String destinationKey) {
try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
long result = jedis.sunionstore(destinationKey, cacheKeyArray);
System.out.println("cacheKeyArray 的并集的个数：" + result);
} catch (Exception e) {
throw new RuntimeException(e);
}
}
並集計算結果寫入到指定檔案 /**
* 将计算的并集数据写入到指定文件
*/
public static void writeUnionToFile() {
File unionFile = new File(unionFileString);
try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
Set<String> result = jedis.smembers(unionFileCacheKey);
FileUtil.writeUtf8Lines(result, unionFile);
} catch (Exception e) {
throw new RuntimeException(e);
}
}
#Redis指令說明
SDIFFSTORE destination key [key …]
舉例說明：key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SDIFF key1 key2 key3 = {b,d}SDIFFSTORE 指令的作用和SDIFF類似，不同的是它將結果儲存到destination 集合，而把結果集傳回給客戶端。 如果 destination 集合已經存在，則將其覆寫。
- 傳回值
- 結果集中成員數量
#SINTERSTORE destination key [key …]
範例說明：key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SINTER key1 key2 key3 = {c}SINTERSTORE 指令與SINTER 指令類似，不同的是它並不是直接傳回結果集，而是將結果保存在destination 集合中。 如果 destination 集合存在, 則會被覆寫。
- 傳回值
- 結果集中成員數量
#SUNIONSTORE destination key [key …]
範例說明：key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SUNION key1 key2 key3 = {a,b,c,d,e}SUNIONSTORE 指令的功能類似SUNION，不同的是不反回結果集，而是儲存在destination 中。 如果 destination 已經存在，則被覆寫。
- 傳回值
- 結果集中的成員數
以上是實例詳解Redis實現資料的交集、並集和補集的詳細內容。更多資訊請關注PHP中文網其他相關文章！
陳述：
本文轉載於：csdn.net。如有侵權，請聯絡admin@php.cn刪除
上一篇：詳細解析Redis中命令的原子性下一篇：詳細解析Redis中命令的原子性