So verschieben Sie Daten in Echtzeit von MySQL nach Redis

Überblick

Redis ist ein nicht relationaler Open-Source-In-Memory-Datenspeicher, der für seine hohe Leistung und Flexibilität bekannt ist. Es wird häufig in einer Reihe von Fällen eingesetzt, beispielsweise bei der Echtzeitanalyse, dem Anwendungscache und der Sitzungsverwaltung. Daher ist es wichtig, Daten in Redis zu integrieren.

Dieses Tutorial befasst sich mit der Verwendung von BladePipe zum Verschieben von Daten von MySQL nach Redis, einschließlich der folgenden Funktionen:

• Unterstützt eine Redis-Instanz mit einem Knoten, Master/Standby-Redis-Instanzen und eine Shard-Cluster-Instanz.
• Ermöglichen Sie das Festlegen einer Cache-Ablaufzeit beim Schreiben von Daten in eine Redis-Instanz.

Über BladePipe

BladePipe ist ein Echtzeit-End-to-End-Datenreplikationstool, das Ihre Datenbewegung zwischen verschiedenen Datenquellen, einschließlich Datenbanken, Nachrichtenwarteschlangen, Echtzeit-Data-Warehouses usw., vereinfacht.

Durch den Einsatz der Change Data Capture (CDC)-Technik kann BladePipe Datenänderungen automatisch und genau mit extrem geringer Latenz verfolgen, erfassen und bereitstellen, was die Effizienz der Datenintegration erheblich verbessert. Es bietet solide Lösungen für Anwendungsfälle, die eine Datenreplikation in Echtzeit erfordern und so die datengesteuerte Entscheidungsfindung und geschäftliche Agilität fördern.

Höhepunkte

Automatische Anpassung an Sharded-Cluster

Es gibt Unterschiede in der Art und Weise, wie Daten in Redis-Sharded- und Nicht-Sharded-Cluster geschrieben werden.

BladePipe identifiziert automatisch das Cluster-Sharding von Redis, indem es Redis-Parameter erhält, und passt die Datenschreibmethode an, um den inkrementellen DataJob auszuführen.

Unterstützung für Cache-Ablauf

Es ist zulässig, die Cache-Ablaufzeit beim Schreiben von Daten in eine Redis-Instanz festzulegen.

Beim Erstellen eines BladePipe DataJobs können Sie optional die Ablaufzeit (in Sekunden) festlegen. Die Konfiguration wird automatisch wirksam, wenn ein DataJob ausgeführt wird.

Verfahren

Schritt 1: BladePipe installieren

Folgen Sie den Anweisungen unter Install Worker (Docker) oder Install Worker (Binary), um einen BladePipe Worker herunterzuladen und zu installieren.

Schritt 2: Datenquellen hinzufügen

1. Melden Sie sich bei der BladePipe Cloud an.
2. Klicken Sie auf Datenquelle > Datenquelle hinzufügen.
3. Wählen Sie den Quell- und Ziel-DataSource-Typ aus und füllen Sie jeweils das Setup-Formular aus. Hinweis: Wenn es sich bei der Redis-Instanz um einen Cluster handelt, tragen Sie bitte alle Knoten oder alle Masterknoten ein und trennen Sie diese durch Kommas.

Schritt 3: Erstellen Sie einen DataJob

1. Klicken Sie auf DataJob > DataJob erstellen.
2. Wählen Sie die Quell- und Zieldatenquellen aus. Legen Sie die Cache-Ablaufzeit (in Sekunden) in der Erweiterten-Konfiguration der Ziel-DataSource fest. Die Zahl <=0 bedeutet, dass der Cache nicht abläuft.
3. Wählen Sie Inkrementell als DataJob-Typ zusammen mit der Option Vollständige Daten.

4. Wählen Sie die zu replizierenden Tabellen aus.
   
   Hinweis: Da die Schlüssel in Redis aus den Primärschlüsseln der Quelltabellen bestehen, wird nicht empfohlen, die Tabellen ohne Primärschlüssel auszuwählen.

5. Wählen Sie die zu replizierenden Spalten aus. Filtern Sie die Daten bei Bedarf.
   

6. Bestätigen Sie die Erstellung.

Jetzt wird der DataJob erstellt und gestartet. BladePipe führt automatisch die folgenden DataTasks aus:

• Schemamigration: Die Schemata der Quelltabellen werden in die Zielinstanz migriert.
• Vollständige Datenmigration: Alle vorhandenen Daten aus den Quelltabellen werden vollständig in die Zielinstanz migriert.
• Inkrementelle Datensynchronisierung: Laufende Datenänderungen werden kontinuierlich mit der Zielinstanz synchronisiert.

FAQ

Was soll ich nach einer Redis-Master/Standby-Umschaltung tun?

BladePipe schreibt Daten mit JedisCluster, der automatisch eine Master/Standby-Umschaltung erkennt.

Was soll ich tun, wenn die Knoten in Redis geändert werden?

Sie können die Knoteninformationen der DataJob-Konfiguration manuell ändern und den DataJob neu starten.

Das obige ist der detaillierte Inhalt vonSo verschieben Sie Daten in Echtzeit von MySQL nach Redis. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!