So lösen Sie das Problem, das der Redis-Befehl „bigkeys“ blockiert

1. Ein leitender Entwicklungsingenieur von SF Express führte online einen gefährlichen Redis-Befehl aus, der dazu führte, dass ein Unternehmen 4 Millionen verlor.

Ein Befehl führte zu Verlusten in Millionenhöhe.

Der Code ist nicht standardisiert und meine Kollegen brachen in Tränen aus. Bitte seien Sie vorsichtig beim Codieren!

Lassen Sie es mich aus Neugier ausprobieren. Was ist das Problem?

2. Testen Sie die Leistung von 10 Millionen Daten

1. Schreiben Sie eine Skriptdatei

, um 10 Millionen Daten zu schreiben.

for((i=1;i<=10000000;i++)); do echo "set k$i 哪吒编程$i" >> /tmp/test1.txt;done;

Überprüfen Sie mit /tmp/test1.txt, ob das Schreiben erfolgreich war. /tmp/test1.txt查看一下是否写入成功。

2、写入Redis1000万数据

cat /tmp/test1.txt | redis-cli -a 111111 --pipe

3、通过keys * 查看1000万数据

4、通过配置文件禁止keys *的使用

在redis.conf文件中配置security：

  rename- command keys ""
  rename- command flushdb ""
  rename- command flushall ""

三、使用scan替代keys *

Redis Scan 命令用于迭代数据库中的数据库键。

SCAN 命令是一个基于游标的迭代器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的迭代过程。

SCAN 返回一个包含两个元素的数组， 第一个元素是用于进行下一次迭代的新游标， 而第二个元素则是一个数组， 这个数组中包含了所有被迭代的元素。如果新游标返回 0 表示迭代已结束。

scan语法：

SCAN cursor [MATCH pattern] [COUNT count]

四、拒绝bigkey

1、阿里云Redis开发规范

阿里云Redis开发规范中明确规定“拒绝bigkey（防止网卡流量、慢查询）”。

String类型控制在10KB以内，hash、list、set、zset元素个数不要超过5000。

2、出现bigkey时如何删除？

1. String类型的用del删除。

2. 其它类型使用hscan、sscan、zscan方式渐进式删除，同时要避免bigkey过期时间自动删除问题，因为它会造成主线程阻塞。

Hash 删除: hscan+hdel

public void delBigHash(String host, int port, String password, String bigHashKey) {
    Jedis jedis = new Jedis(host, port);
    if (password != null && !"".equals(password)) {
        jedis.auth(password);
    }
    ScanParams scanParams = new ScanParams().count(100);
    String cursor = "0";
    do {
        ScanResult<Entry<String, String>> scanResult = jedis.hscan(bigHashKey, cursor, scanParams);
        List<Entry<String, String>> entryList = scanResult.getResult();
        if (entryList != null && !entryList.isEmpty()) {
            for (Entry<String, String> entry : entryList) {
                jedis.hdel(bigHashKey, entry.getKey());
            }
        }
        cursor = scanResult.getStringCursor();
    } while (!"0".equals(cursor));
    
    //删除 bigkey
    jedis.del(bigHashKey);
}

3、bigkey会造成哪些问题？

1. 内存不均，集群迁移困难；

2. 超时删除，阻塞线程；

3. 网络流量阻塞；

4、如何发现bigkey？

（1）通过redis-cli --bigkeys

2. Geben Sie 10 Millionen Daten in Redis ein.

rrreee

Redis Bigkeys-Befehl wird blockiert“ />

3. 10 Millionen Daten über Schlüssel anzeigen *

🎜🎜4 Verbieten Sie die Verwendung von Schlüsseln* über die Konfigurationsdatei🎜🎜Konfigurieren Sie die Sicherheit in der redis.conf-Datei:🎜rrreee🎜3 Schlüssel*🎜🎜Der Redis-Scan-Befehl wird verwendet, um die Schlüssel in der Datenbank Datenbankschlüssel zu iterieren. 🎜🎜Der SCAN-Befehl ist ein Cursor-basierter Iterator. Bei jedem Aufruf wird ein neuer Cursor an den Benutzer zurückgegeben. Der Benutzer muss diesen neuen Cursor als Cursor-Parameter des SCAN-Befehls verwenden, um fortzufahren der vorherige iterative Prozess. 🎜🎜SCAN gibt ein Array zurück, das zwei Elemente enthält. Das erste Element ist der neue Cursor für die nächste Iteration, und das zweite Element ist ein Array, das alle Elemente enthält, die iteriert werden. Wenn der neue Cursor 0 zurückgibt, bedeutet dies, dass die Iteration beendet ist. 🎜🎜Scan-Syntax: 🎜rrreee🎜🎜🎜4. Bigkey ablehnen🎜🎜1. Alibaba Cloud Redis-Entwicklungsspezifikationen🎜🎜Alibaba Cloud Redis-Entwicklungsspezifikationen legen eindeutig „Bigkey ablehnen (um Netzwerkkartenverkehr und langsame Abfragen zu verhindern)“ fest. 🎜🎜Der String-Typ wird innerhalb von 10 KB gesteuert und die Anzahl der Hash-, Listen-, Set- und Zset-Elemente sollte 5.000 nicht überschreiten. 🎜🎜2. Wie lösche ich Bigkey, wenn es angezeigt wird? 🎜

1. 🎜String-Typ wird mit del gelöscht. 🎜
2. 🎜Andere Typen verwenden hscan-, sscan- und zscan-Methoden zum schrittweisen Löschen. Gleichzeitig muss das Problem des automatischen Löschens der Bigkey-Ablaufzeit vermieden werden, da dies zu einer Blockierung des Hauptthreads führt . 🎜

🎜Hash delete: hscan+hdel🎜rrreee🎜3 Welche Probleme wird Bigkey verursachen? 🎜

1. 🎜Ungleichmäßiger Speicher, schwierige Clustermigration; 🎜
2. 🎜Timeout-Löschung, Blockierung von Threads; 🎜
3. 🎜Netzwerkverkehr Blockierung; 🎜

🎜 4. Wie finde ich Bigkey? 🎜🎜(1) Durchsuchen Sie redis-cli --bigkeys. 🎜🎜🎜🎜🎜(2) Berechnen Sie die Anzahl der Bytes jedes Schlüsselwerts und ermitteln Sie sie über den Speichernutzungsschlüssel🎜🎜🎜🎜

Das obige ist der detaillierte Inhalt vonSo lösen Sie das Problem, das der Redis-Befehl „bigkeys“ blockiert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!