So realisieren Sie die Identifizierung und den Austausch heißer und kalter Daten in Redis

Hintergrund

Das Redis-Hybridspeicherprodukt ist ein von Alibaba Cloud unabhängig entwickeltes Hybridspeicherprodukt, das vollständig mit dem Redis-Protokoll und den Redis-Funktionen kompatibel ist.

Durch die Speicherung eines Teils der kalten Daten auf der Festplatte werden die Benutzerkosten erheblich reduziert und das Speicherlimit für das Datenvolumen einer Redis-Einzelinstanz durchbrochen, während gleichzeitig sichergestellt wird, dass die Zugriffsleistung größtenteils nicht abnimmt.

Unter anderem sind die Identifizierung und der Austausch heißer und kalter Daten Schlüsselfaktoren für die Leistung hybrider Speicherprodukte.

Definition von Hot- und Cold-Daten

Im Redis-Hybridspeicher ist das Verhältnis von Arbeitsspeicher zu Festplatte vom Benutzer frei wählbar:

Die Redis-Hybridspeicherinstanz betrachtet alle Schlüssel als Hot-Daten und verbraucht nur wenig Speicher as Die Kosten stellen sicher, dass die Leistung aller Schlüsselzugriffsanforderungen effizient und konsistent ist. Wenn für den Wertteil nicht genügend Speicher vorhanden ist, wählt die Instanz selbst einen Teil des Werts basierend auf der letzten Zugriffszeit, der Zugriffshäufigkeit, der Wertgröße und anderen Dimensionen als kalte Daten aus und speichert sie im Hintergrund asynchron auf der Festplatte, bis der Speicher verfügbar ist liegt unter dem angegebenen Schwellenwert.

In der Redis-Hybridspeicherinstanz betrachten wir alle Schlüssel als Hot Data und speichern sie aus den folgenden zwei Gründen im Speicher:

1. Die Schlüsselzugriffshäufigkeit ist viel höher als der Wert.

2. Als KV-Datenbank müssen normale Zugriffsanfragen zunächst nach dem Schlüssel suchen, um zu bestätigen, dass ein Schlüssel nicht vorhanden ist. Um zu bestätigen, dass ein Schlüssel nicht vorhanden ist, müssen Sie den Satz aller Schlüssel in irgendeiner Form überprüfen. Durch die Beibehaltung aller Schlüsselwerte für speicherinterne Datenstrukturen kann sichergestellt werden, dass die Suchgeschwindigkeit genau der von reinen Speicherdatenstrukturen entspricht.

3. Das Tastengrößenverhältnis ist sehr niedrig.

4. In einem allgemeinen Geschäftsmodell ist sein Wert im Allgemeinen um ein Vielfaches größer als der Schlüssel, selbst wenn es sich um einen gewöhnlichen Zeichenfolgentyp handelt. Bei Sammlungsobjekten wie Set, List, Hash usw. ist der aus der Summe aller Mitglieder gebildete Wert mehrere Größenordnungen größer als der Schlüssel.

Daher gibt es zwei Hauptszenarien für Redis-Hybridspeicherinstanzen:

1. Ungleichmäßiger Datenzugriff und Hotspot-Daten;

2. Der Speicher reicht nicht aus, um alle Daten zu speichern, und der Wert ist groß ( relativ zum Schlüssel)

Identifizierung heißer und kalter Daten

Wenn nicht genügend Speicher vorhanden ist, berechnet die Instanz das Gewicht des Werts basierend auf der letzten Zugriffszeit, der Zugriffshäufigkeit, der Wertgröße und anderen Dimensionen und speichert den Wert mit das niedrigste Gewicht auf der Festplatte und wird aus dem Speicher entfernt.

Der Pseudocode lautet wie folgt:

Im idealsten Fall möchten wir in der Lage sein, den aktuell niedrigsten Wert genau zu berechnen. Der Heiß- und Kaltgrad eines Werts ändert sich jedoch je nach Zugriffssituation dynamisch, und der Zeitaufwand für die jedesmalige Neuberechnung der Heiß- und Kaltgewichte aller Werte ist völlig inakzeptabel.

Redis selbst löscht Daten gemäß der vom Benutzer festgelegten Eliminierungsstrategie, wenn der Speicher voll ist, und das Schreiben heißer Daten vom Speicher auf die Festplatte kann ebenfalls als „Eliminierungsvorgang“ betrachtet werden. Unter Berücksichtigung von Leistung, Genauigkeit und Benutzerverständnis verwenden wir bei der Identifizierung heißer und kalter Daten eine ungefähre Berechnungsmethode ähnlich wie Redis, unterstützen mehrere Strategien, reduzieren den CPU- und Speicherverbrauch durch zufällige Stichproben eines kleinen Teils der Daten und nutzen Stichproben durch historische Eviction-Pools Informationen zur Verbesserung der Genauigkeit.

Das schematische Diagramm der Trefferquote des ungefähren Eliminierungsalgorithmus von Redis wird in verschiedenen Versionen und mit unterschiedlicher Anzahl von Stichprobenkonfigurationen angezeigt. Datenpunkte, die eliminiert wurden, sind hellgrau gefärbt, Datenpunkte, die nicht eliminiert wurden, sind grau und Datenpunkte, die während des Tests hinzugefügt wurden, sind grün gefärbt.

Heißer und kalter Datenaustausch

Redis-Mischspeicher Der Prozess des heißen und kalten Datenaustauschs wird im Hintergrund-E/A-Thread abgeschlossen.

Heiße Daten ->Kalte Daten

Asynchrone Methode:

1. Der Hauptthread generiert eine Reihe von Datenaustauschaufgaben, wenn der Speicher fast voll ist;

2. Der Hintergrundthread führt diesen Datenaustausch aus Aufgaben: Nachdem die Ausführung abgeschlossen ist, wird der Hauptthread benachrichtigt.

3. Der Hauptthread aktualisiert den Wert im freigegebenen Speicher und aktualisiert den Wert im Datenwörterbuch im Speicher auf eine einfache Metainformation

   Synchronisationsmethode:

4. Wenn der Datenverkehr beim Schreiben zu groß ist, kann die asynchrone Methode die Daten nicht rechtzeitig austauschen, was dazu führen kann, dass der Speicher die maximale Spezifikation überschreitet. Der Hauptthread führt die Datenaustauschaufgabe direkt aus, um den Zweck der verdeckten Strombegrenzung zu erreichen.

Kalte Daten ->Heiße Daten

Asynchrone Methode:

Bevor der Befehl ausgeführt wird, ermittelt der Hauptthread zunächst, ob sich die am Befehl beteiligten Werte im Speicher befinden.

1. Wenn nicht, Generieren Sie eine Datenladeaufgabe, halten Sie den Client an und der Hauptthread verarbeitet weiterhin andere Clientanforderungen.

2. Der Hintergrundthread führt die Datenladeaufgabe aus und benachrichtigt den Hauptthread nach Abschluss den Wert im Datenwörterbuch im Speicher, weckt den zuvor angehaltenen Client auf und verarbeitet seine Anfrage.

3. Synchronisationsmethode:

4. Wenn im Lua-Skript während der spezifischen Befehlsausführungsphase festgestellt wird, dass ein Wert auf der Festplatte gespeichert ist, führt der Hauptthread direkt die Datenladeaufgabe aus, um die Semantik sicherzustellen des Lua-Skripts und -Befehls bleiben unverändert.

Das obige ist der detaillierte Inhalt vonSo realisieren Sie die Identifizierung und den Austausch heißer und kalter Daten in Redis. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!