Lassen Sie uns gemeinsam die Lösungen für Redis-Hot-Data-Probleme analysieren

Dieser Artikel bringt Ihnen relevantes Wissen über Redis, das hauptsächlich die damit verbundenen Probleme der Redis-Hotkey-Großwertlösung vorstellt. Ich hoffe, es wird für alle hilfreich sein.

Empfohlenes Lernen: Redis-Video-Tutorial

Über Redis Hot Data und Big Key Big Value-Fragen lassen sich auch leicht auf hoher Ebene stellen. Es ist besser, sie auf einmal zu beenden und den Interviewer sprachlos zu machen. Persönlich bin ich der Meinung, dass Hotspots bei der Arbeit häufiger auftreten als Lawinen. In den meisten Fällen sind Hotspots jedoch nicht heiß genug und werden im Voraus gewarnt und gelöst , die verursachten Online-Probleme werden ausreichen, um Sie auf den letzten Platz der diesjährigen Leistung zu bringen. Okay, hören wir auf, Unsinn zu reden, und kommen wir zur Sache.

Unter normalen Umständen werden die Daten im Redis-Cluster gleichmäßig auf jeden Knoten verteilt und Anforderungen werden gleichmäßig auf jeden Shard verteilt. In einigen speziellen Szenarien, wie z. B. externen Crawlern, Angriffen, Hot Commodities usw., ist dies jedoch am typischsten Was passierte, war, dass Prominente ihre Scheidung auf Weibo bekannt gaben und die Leute strömten, um Nachrichten zu hinterlassen, was zum Absturz der Kommentarfunktion von Weibo führte. Die Anzahl der Besuche bestimmter Schlüssel in so kurzer Zeit war zu groß und die gleichen Daten Auf den Shards würde die hohe Belastung der Shards zu einem Engpassproblem werden, was zu einer Reihe von Problemen wie Lawinen führen würde.

1. Sind Sie in Ihrem Projekt jemals auf Redis-Hot-Data-Probleme gestoßen?

Problemanalyse: Diese Frage wurde mir letztes Mal gestellt, als ich im Gruppeninterview einen großen Chef Ali p7 hörte. Der Schwierigkeitsindex beträgt fünf Sterne, was für Anfänger wie mich wirklich ein Plus ist.

Antwort: Ich habe etwas zum Thema „heiße Daten“ zu sagen. Ich bin mir dieses Problems bewusst, seit ich Redis zum ersten Mal verwendet habe, daher werde ich es bei der Verwendung bewusst vermeiden und nie ein Loch darin graben Das größte Problem mit Hotspot-Daten wird durch ein Ungleichgewicht der Redis-Cluster verursacht. Diese Probleme sind für den Redis-Cluster fatal. Lassen Sie uns zunächst über die Hauptursachen für den Ausfall des Reids-Cluster-Lastungleichgewichts sprechen:

Schlüssel mit hohem Zugriffsvolumen
1. , d. h. Hotkeys, wenn die QPS, auf die ein Schlüssel zugreift, 1000 überschreiten sollten genau darauf achten, z. B. beliebte Produkte, aktuelle Themen usw.
Großer Wert
2. Obwohl die Zugriffs-QPS einiger Schlüssel nicht hoch ist, ist die Netzwerkkartenlast aufgrund des großen Werts groß, der Netzwerkkartenverkehr ist voll und bei einem einzelnen Computer kann es zu Gigabit-/Sekunden- und E/A-Ausfällen kommen .
Hotspot Key + Big Value existieren gleichzeitig
3. , Serverkiller.
Welche Fehler werden also durch Hotkeys oder große Werte verursacht?

Datenversatzproblem: Große Werte führen zu einer ungleichmäßigen Datenverteilung auf verschiedenen Knoten im Cluster, was zu Problemen mit der Datenverzerrung führt Ein sehr hohes Lese-/Schreibverhältnis führt dazu, dass auf demselben Redis-Server die Auslastung von Redis erheblich erhöht wird und es leicht zum Absturz kommen kann.

1. QPS-Skew: Ungleichmäßige QPS über Shards hinweg.
2. Ein großer Wert führt dazu, dass der Redis-Serverpuffer nicht ausreicht, was zu einer Zeitüberschreitung beim Abrufen führt.
3. Da der Wert zu groß ist, weist die Netzwerkkarte im Computerraum nicht genügend Datenverkehr auf.
4. Redis-Cache-Ausfälle führen zu einer Kettenreaktion des Zusammenbruchs der Datenbankebene.

2. Interviewer: Wie können Sie in realen Projekten wichtige Datenprobleme genau lokalisieren?

Antwort:

Die Lösung für dieses Problem ist relativ breit gefächert. Sie hängt von verschiedenen Geschäftsszenarien ab. Wenn ein Unternehmen beispielsweise Werbeaktivitäten organisiert, muss es eine Möglichkeit geben, die an der Aktion teilnehmenden Produkte im Voraus zu zählen. In diesem Szenario kann die Schätzmethode verwendet werden. Bei Notfällen und Unsicherheiten überwacht Redis die Hotspot-Daten selbst. Um es zusammenzufassen:

So wissen Sie im Voraus:
1. Je nach Unternehmen können menschliche Fleischstatistiken oder Systemstatistiken zu wichtigen Daten werden, z. B. zu Werbeprodukten, aktuellen Themen, Feiertagsthemen, Jubiläumsaktivitäten usw.
   
Redis-Client-Erfassungsmethode:
2. Der Anrufer zählt die Anzahl der Schlüsselanforderungen durch Zählen, aber die Anzahl der Schlüssel kann nicht vorhergesagt werden und der Code ist sehr aufdringlich.

   public Connection sendCommand(final ProtocolCommand cmd, final byte[]... args) {
       //从参数中获取key
       String key = analysis(args);
       //计数
       counterKey(key);
       //ignore
   }

   
   
3. Statistik der Redis-Cluster-Proxy-Ebene:

   Proxy-basierte verteilte Redis-Architekturen wie Twemproxy und Codis haben einen einheitlichen Eingang und können auf der Proxy-Ebene erfasst und gemeldet werden. Allerdings sind die Mängel nicht bei allen Redis-Cluster-Architekturen offensichtlich Es gibt einen Proxy.
   

4. Redis-Server-Sammlung:
   Überwachen Sie die QPS eines einzelnen Redis-Shards und überwachen Sie die Knoten, deren QPS bis zu einem bestimmten Grad geneigt ist, um den Hotspot-Schlüssel zu erhalten, der einen bestimmten Redis-Knoten zählen kann Innerhalb eines bestimmten Zeitraums besteht die Gefahr einer Speicherexplosion und der Redis-Leistung, sodass diese Methode nur für kurze Zeit verwendet werden kann Die Hotspot-Schlüssel eines Redis-Knotens sind aus geschäftlicher Sicht etwas problematischer.
   

   

   Die vier oben genannten Methoden werden alle häufig in der Branche verwendet. Durch das Studium des Redis-Quellcodes habe ich eine neue Idee. Typ 5: Ändern Sie den Redis-Quellcode.

5. Ändern Sie den Redis-Quellcode: (Ich denke an Ideen aus dem Lesen des Quellcodes)

   Ich habe festgestellt, dass Redis4.0 uns viele neue Funktionen gebracht hat, einschließlich des auf LFU basierenden Hotspot-Schlüsselerkennungsmechanismus Mit der neuen Funktion können wir auf dieser Grundlage die Statistiken von Hotspot-Schlüsseln erstellen. Dies ist nur meine persönliche Idee.

   Psychologie des Interviewers: Der junge Mann ist sehr nachdenklich und aufgeschlossen, und er achtet sogar darauf, den Quellcode zu ändern. Diesen Ehrgeiz habe ich nicht. Solche Leute brauchen wir in unserem Team.

   (Entdecken Sie Probleme, analysieren Sie Probleme, lösen Sie Probleme und sagen Sie direkt, wie Sie heiße Datenprobleme lösen können, ohne darauf zu warten, dass der Interviewer Fragen stellt. Dies ist der Kerninhalt)

3 So lösen Sie heiße Datenprobleme

Antwort: Bei der Bewältigung von Hot-Data-Problemen berücksichtigen wir hauptsächlich zwei Aspekte zur Lösung dieses Problems. Der erste ist das Daten-Sharding, das eine gleichmäßige Verteilung des Drucks auf mehrere Shards im Cluster ermöglicht, um zu verhindern, dass ein einzelner Computer davon betroffen ist Das zweite ist die Migrationsisolation.

Zusammenfassende Zusammenfassung:

1. Schlüsselaufteilung:
   Wenn der Typ des aktuellen Schlüssels eine sekundäre Datenstruktur ist, beispielsweise ein Hash-Typ. Wenn die Anzahl der Hash-Elemente groß ist, können Sie erwägen, den aktuellen Hash aufzuteilen, sodass der Hotkey in mehrere neue Schlüssel aufgeteilt und an verschiedene Redis-Knoten verteilt werden kann, wodurch der Druck verringert wird
2. Migrieren Sie den Hotkey:
   Am Beispiel des Redis-Clusters kann der Steckplatz, in dem sich der Hotspot-Schlüssel befindet, separat auf einen neuen Redis-Knoten migriert werden. Selbst wenn der QPS dieses Hotspot-Schlüssels sehr hoch ist, hat dies keine Auswirkungen auf andere Unternehmen im gesamten Netzwerk Cluster kann auch angepasst und entwickelt werden. Der Schlüssel wird automatisch auf einen unabhängigen Knoten migriert.
Strombegrenzung für Hotspot-Schlüssel:
3. Bei Lesebefehlen können wir das Problem lösen, indem wir den Hotspot-Schlüssel migrieren und dann Slave-Knoten hinzufügen. Bei Schreibbefehlen können wir den Strom begrenzen, indem wir diesen Hotspot-Schlüssel separat ansprechen.
   
Lokalen Cache erhöhen:
4. Für Unternehmen, deren Datenkonsistenz nicht so hoch ist, können Sie den Hotspot-Schlüssel im lokalen Cache des Geschäftscomputers zwischenspeichern, da er sich im lokalen Speicher des Unternehmens befindet, wodurch ein Remote-IO entfällt Anruf. Wenn die Daten jedoch aktualisiert werden, kann es zu Inkonsistenzen zwischen Geschäfts- und Redis-Daten kommen.
   
Interviewer: Du hast sehr gut geantwortet und es sehr umfassend durchdacht.

4. Interviewer: Bezüglich der letzten Frage zu Redis unterstützt Redis umfangreiche Datentypen. Wie kann man also das Problem lösen, dass in diesen Datentypen große Werte gespeichert sind? Ist Ihnen diese Situation online begegnet?

Problemanalyse:

Im Vergleich zum großen Konzept des Hotkeys ist das Konzept des großen Werts besser zu verstehen. Da Redis in einem einzelnen Thread ausgeführt wird, hat ein großer Wert einer Operation negative Auswirkungen auf die Antwortzeit des gesamten Redis, da es sich bei Redis um eine Datenbank mit Schlüsselwertstruktur handelt. Ein großer Wert bedeutet, dass ein einzelner Wert viel Speicher beansprucht. Die direkteste Auswirkung auf den Redis-Cluster ist. Antwort: (Sie wollen mich überraschen? Ich bin vorbereitet.)

Lassen Sie mich zunächst darüber sprechen, wie groß der Wert ist, der durch die Infrastruktur des Unternehmens gegeben ist. Er lässt sich wie folgt aufteilen:

Hinweis: (Der Erfahrungswert ist kein Standard, er wird auf der Grundlage der Langzeitbeobachtung von Online-Fällen durch Cluster-Betriebs- und Wartungspersonal zusammengefasst.)

Groß

: Zeichenfolgentypwert > 10 KB, im Set , Liste, Hash, Zset und andere Sammlungsdatentypen Die Anzahl der Elemente > 1000.

1. Extra groß: Zeichenfolgentypwert > 100 KB, die Anzahl der Elemente in Set-, Listen-, Hash-, Zset- und anderen Sammlungsdatentypen > 10000.
2. Da Redis in einem einzelnen Thread ausgeführt wird und der Wert einer Operation sehr groß ist, wirkt sich dies negativ auf die Antwortzeit des gesamten Redis aus. Daher kann es aufgeteilt werden Hier sind ein paar typische Aufteilungspläne:
   1.  一个较大的 key-value 拆分成几个 key-value ，将操作压力平摊到多个 redis 实例中，降低对单个 redis 的 IO 影响
   2. 将分拆后的几个 key-value 存储在一个 hash 中，每个 field 代表一个具体的属性，使用 hget,hmget 来获取部分的 value，使用 hset，hmset 来更新部分属性。
   3. hash、set、zset、list 中存储过多的元素

   类似于场景一中的第一个做法，可以将这些元素分拆。

   以 hash 为例，原先的正常存取流程是:

   hget(hashKey, field); 
   hset(hashKey, field, value)

   现在，固定一个桶的数量，比如 10000，每次存取的时候，先在本地计算 field 的 hash 值，模除 10000，确定该 field 落在哪个 key 上，核心思想就是将 value 打散，每次只 get 你需要的。

   newHashKey = hashKey + (hash(field) % 10000); 
   hset(newHashKey, field, value); 
   hget(newHashKey, field)

   推荐学习：Redis学习教程

Das obige ist der detaillierte Inhalt vonLassen Sie uns gemeinsam die Lösungen für Redis-Hot-Data-Probleme analysieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!