Einführung in das Implementierungsprinzip der Redis-Partition

Redis-Partitionierung ist eine Redis-Partitionierung, bei der Daten auf verschiedene Redis-Instanzen verteilt werden, sodass der in jeder Redis-Instanz gespeicherte Inhalt nur eine Teilmenge des gesamten Inhalts ist.

Empfohlen: Redis-Einführungs-Tutorial

Warum brauchen wir Partitionierung? Was war der Beweggrund für die Teilung? Im Allgemeinen sind die Vorteile der Redis-Partitionierung ungefähr wie folgt: 1. Die Netzwerk-E/A-Funktionen und Rechenressourcen von Redis sind begrenzt und Anfragen werden auf mehrere Maschinen verteilt Die vollständige Nutzung der Rechenleistung und Netzwerkbandbreite mehrerer Maschinen trägt dazu bei, die allgemeinen Servicefunktionen von Redis zu verbessern.

2. Horizontale Erweiterung des Speichers Auch wenn die Servicefunktionen von Redis die Anwendungsanforderungen erfüllen können, ist eine einzelne Maschine durch die Speicherkapazität der Maschine selbst begrenzt und die Daten werden verteilt Durch den oberen Speicher kann der Redis-Dienst horizontal skaliert werden.

Im Allgemeinen ist das Problem, dass wir durch die Hardware-Ressourcen eines einzelnen Computers begrenzt sind, durch die Partitionierung kein Problem mehr. Nicht genügend Rechenressourcen? Nicht genügend Bandbreite? Wir alle können diese Probleme lösen, indem wir mehr Maschinen hinzufügen.

Grundlagen der Redis-Partition

Es gibt viele spezifische Strategien für die Partitionierung in tatsächlichen Anwendungen. Nehmen wir beispielsweise an, wir haben bereits einen Satz von vier Redis-Instanzen, nämlich R0, R1 , R2, R3. Darüber hinaus haben wir einen Stapel von Schlüsseln, die Benutzer darstellen, wie zum Beispiel: Benutzer:1, Benutzer:2 usw. Die Zahl nach „Benutzer:“ stellt die ID des Benutzers dar Diese Schlüssel werden in vier verschiedenen Redis-Instanzen gespeichert. Wie geht das? Der einfachste Weg ist die Bereichspartitionierung. Schauen wir uns an, wie man das auf Basis der Bereichspartitionierung macht.

Bereichspartitionierung

Die sogenannte Bereichspartitionierung besteht darin, alle Schlüssel in einem Bereich derselben Redis-Instanz zuzuordnen. Das Hinzufügen des Datensatzes erfolgt weiterhin über die oben erwähnte spezifische Methode lautet wie folgt:

Wir können Benutzerdaten mit Benutzer-IDs von 0 bis 10000 R0-Instanzen und Objekte mit Benutzer-IDs von 10001 bis 20000 R1-Instanzen usw. zuordnen.

Obwohl diese Methode einfach ist, ist sie in praktischen Anwendungen sehr effektiv, es gibt jedoch immer noch Probleme:

Wir benötigen eine Tabelle, in der der Benutzer-ID-Bereich in Redis gespeichert wird. Die Zuordnung Beziehung der Instanz, zum Beispiel wird die Benutzer-ID 0-10000 der R0-Instanz zugeordnet ...

Wir müssen diese Tabelle nicht nur pflegen, sondern wir benötigen auch eine solche Tabelle für jeden Objekttyp. Wenn wir beispielsweise Bestellinformationen speichern, müssen wir sie erstellen wieder eine Zuordnungsbeziehungstabelle.

Was passiert, wenn der Schlüssel der Daten, die wir speichern möchten, nicht nach dem Bereich unterteilt werden kann? Unser Schlüssel ist beispielsweise ein Satz von UUIDs. Derzeit ist die Bereichspartitionierung nicht einfach.

Daher ist die Bereichspartitionierung in praktischen Anwendungen keine gute Wahl. Keine Sorge, wir haben eine bessere Möglichkeit. Lassen Sie uns etwas über Hash-Partitionierung lernen.

Hash-Partitionierung

Ein offensichtlicher Vorteil der Hash-Partitionierung gegenüber der Bereichspartitionierung besteht darin, dass die Hash-Partitionierung im Gegensatz zur Bereichspartitionierung für jede Schlüsselform geeignet ist ist Objektname:, und die Partitionierungsmethode ist auch sehr einfach. Sie kann durch eine Formel ausgedrückt werden:

id=hash(key)%N

wobei id die Nummer der Redis-Instanz darstellt. Die Formel beschreibt den ersten Schritt Schlüssel und eine Hash-Funktion (z. B. crc32-Funktion) berechnet einen numerischen Wert. Dem obigen Beispiel folgend ist der erste Schlüssel, den wir verarbeiten möchten, Benutzer:1, und das Ergebnis des Hashs (Benutzer:1) ist 93024922.

Dann ist das Hash-Ergebnis Modulo. Der Zweck von Modulo besteht darin, einen Wert zwischen 0 und 3 zu berechnen, sodass dieser Wert einer unserer Redis-Instanzen zugeordnet werden kann. Wenn das Ergebnis von 93024922%4 beispielsweise 2 ist, wissen wir, dass foobar auf R2 gespeichert wird.

Verschiedene Partitionsimplementierungen

Partitionierung kann in verschiedenen Teilen des Redis-Software-Stacks implementiert werden:

Client-Implementierung

Client-Implementierung bedeutet, dass der Schlüssel bestimmt, in welcher Redis-Instanz er auf dem Redis-Client gespeichert wird, wie in der folgenden Abbildung dargestellt:

Das Obige ist ein schematisches Diagramm des Clients, der die Redis-Partitionierung implementiert.

Proxy-Implementierung

Proxy-Implementierung bedeutet, dass der Client die Anfrage an den Proxy-Server sendet. Der Proxy-Server implementiert das Redis-Protokoll, sodass der Proxy-Server die Kommunikation weiterleiten kann zwischen dem Client und dem Redis-Server. Der Proxyserver leitet die Anfrage des Clients über das konfigurierte Partitionsschema an die richtige Redis-Instanz weiter und gibt die Feedback-Nachricht an den Client zurück. Das schematische Diagramm der Proxy-Implementierung der Redis-Partitionierung sieht wie folgt aus:

Sowohl Redis als auch Memcached Proxy Twemoroxy implementieren Proxy-Partitionierung.

Abfrageweiterleitung

Abfrageweiterleitung ist eine vom Redis-Cluster implementierte Redis-Partitionierungsmethode:

Während des Abfrageroutingprozesses können wir die Abfrageanforderung nach dem Zufallsprinzip an eine beliebige Redis-Instanz senden. Diese Redis-Instanz ist für die Weiterleitung der Anforderung an die richtige Redis-Instanz verantwortlich. Der Redis-Cluster implementiert einen Hybrid, der beim Abfragerouting mit dem Client zusammenarbeitet.

Nachteile der Redis-Partitionierung

Obwohl die Redis-Partitionierung bisher so gut ist, weist die Redis-Partitionierung einige schwerwiegende Mängel auf, die dazu führen, dass einige Redis-Funktionen bei der Partitionierung fehlschlagen Es funktioniert nicht gut in der Umgebung. Schauen wir uns Folgendes an:

Mehrschlüsseloperationen werden beispielsweise nicht unterstützt. Die Schlüssel, die wir stapelweise ausführen möchten, werden verschiedenen Redis-Instanzen zugeordnet.

Multi-Key-Redis-Transaktionen werden nicht unterstützt.

Die minimale Granularität der Partitionierung ist der Schlüssel, sodass wir sehr große Datensätze, die einem Schlüssel zugeordnet sind, nicht verschiedenen Instanzen zuordnen können.

Bei der Anwendung der Partitionierung ist die Datenverarbeitung sehr komplex. Beispielsweise müssen wir mehrere RDB/AOF-Dateien verarbeiten und in verschiedenen Instanzen verteilte Dateien zur Sicherung sammeln.

Das Hinzufügen und Löschen von Maschinen ist sehr komplex. Beispielsweise unterstützt der Redis-Cluster eine nahezu laufzeittransparente Neuverteilung, die zum Hinzufügen oder Reduzieren von Maschinen erforderlich ist.

Persistenter Speicher oder Cache

Obwohl die Datenpartitionierung für Redis konzeptionell gleich ist, unabhängig davon, ob es sich um persistenten Datenspeicher oder Cache handelt, hat persistenter Datenspeicher immer noch eine große Bedeutung Einschränkung. Wenn wir Redis als dauerhaften Speicher verwenden, muss jeder Schlüssel immer derselben Redis-Instanz zugeordnet werden. Wenn Redis als Cache verwendet wird, kann dieser Schlüssel für diesen Schlüssel auch anderen Instanzen zugeordnet werden, wenn eine Instanz nicht verwendet werden kann.

Konsistente Hashing-Implementierungen ermöglichen es normalerweise, einen Schlüssel einer anderen Instanz zuzuordnen, wenn die Instanz, der er zugeordnet ist, nicht mehr verfügbar ist. Wenn eine Maschine hinzugefügt wird, wird ein Teil der Schlüssel der neuen Maschine zugeordnet. Zwei Punkte müssen wir wie folgt verstehen:

1 Wenn Redis als Cache verwendet wird, und die Anforderungen sind Das Hinzufügen oder Entfernen von Maschinen ist durch konsistentes Hashing sehr einfach.

2. Wenn Redis als (persistenter) Speicher verwendet wird, ist eine feste Schlüssel-zu-Instanz-Zuordnung erforderlich, sodass wir Maschinen nicht mehr flexibel hinzufügen oder löschen können. Andernfalls muss das System in der Lage sein, beim Hinzufügen oder Löschen von Maschinen ein neues Gleichgewicht herzustellen, was derzeit von Redis Cluster unterstützt wird.

Pre-Sharding

Durch die obige Einführung wissen wir, dass es Probleme bei der Anwendung der Redis-Partition gibt, es sei denn, wir verwenden Redis nur als Cache Es kann schwierig sein, Maschinen hinzuzufügen oder eine Maschine zu löschen, ist sehr mühsam.

Änderungen unserer Redis-Kapazität kommen in praktischen Anwendungen jedoch normalerweise sehr häufig vor. Beispielsweise benötige ich heute 10 Redis-Maschinen und morgen möglicherweise 50 Maschinen.

Angesichts der Tatsache, dass Redis ein sehr leichter Dienst ist (jede Instanz belegt nur 1 MB), ist eine einfache Lösung für das oben genannte Problem:

Wir können mehrere Redis-Instanzen öffnen, auch wenn es sich um eine physische handelt Maschine können wir mehrere Instanzen am Anfang starten. Wir können einige Instanzen, beispielsweise 32 oder 64 Instanzen, als unseren Arbeitscluster auswählen. Wenn eine physische Maschine nicht über genügend Speicher verfügt, können wir die allgemeinen Instanzen auf unsere zweite physische Maschine verschieben und sie nacheinander koppeln. So können wir sicherstellen, dass die Anzahl der Redis-Instanzen im Cluster unverändert bleibt und den Zweck der Erweiterung der Maschine erreichen.

Wie verschiebt man eine Redis-Instanz? Wenn wir die Redis-Instanz auf eine unabhängige Maschine verschieben müssen, können wir dies durch die folgenden Schritte tun:

1. Starten Sie eine neue Redis-Instanz auf der neuen physischen Maschine.

2. Verwenden Sie die neue physische Maschine als zu verschiebende Slave-Maschine.

3. Stoppen Sie den Client.

4. Aktualisieren Sie die IP-Adresse der Redis-Instanz, die verschoben werden soll.

5. Senden Sie den Befehl SLAVEOF ON ONE an die Slave-Maschine.

6. Starten Sie den Redis-Client mit der neuen IP.

7. Schließen Sie die Redis-Instanz, die nicht mehr verwendet wird.

Zusammenfassung

Auf der Grundlage des Verständnisses des Konzepts der Redis-Partition werden in diesem Artikel mehrere gängige Implementierungsmethoden und -prinzipien der Redis-Partition vorgestellt. Abschließend wird Pre basierend auf den bei der Implementierung aufgetretenen Problemen vorgestellt . -Sharding-Lösung.

Verwandte Empfehlungen:

MySQL-Video-Tutorial: https://www.php.cn/course/list/51.html

Das obige ist der detaillierte Inhalt vonEinführung in das Implementierungsprinzip der Redis-Partition. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!