So beheben Sie den Redis-Pufferüberlauf

Puffer ist ein Teil des Speicherplatzes. Mit anderen Worten: Im Speicher ist eine bestimmte Menge Speicherplatz reserviert. Diese Speicherplätze werden zum Puffern von Eingabe- oder Ausgabedaten verwendet. Dieser reservierte Speicherplatz wird als Puffer bezeichnet.

1. Auswirkungen des Redis-Pufferüberlaufs

In Redis gibt es drei Hauptszenarien, in denen das Konzept des Puffers verwendet wird.

Bei der Kommunikation zwischen dem Client und dem Server werden die vom Client gesendeten Befehlsdaten oder die vom Server an den Client zurückgegebenen Datenergebnisse vorübergehend gespeichert. Bei der Datensynchronisierung zwischen Master- und Slave-Knoten verwendet Redis Puffer Um die vom Masterknoten empfangenen Schreibbefehle und Daten vorübergehend zu speichern, verwendet Redis bei der AOF-Persistenz auch das Konzept von Puffern, um häufige Schreibvorgänge auf der Festplatte zu vermeiden

Das Pufferkonzept wurde ursprünglich vom Betriebssystem verwendet, um die Inkonsistenz zwischen zu verringern CPU- und E/A-Gerätegeschwindigkeiten werden angepasst, um die Parallelität von CPUs und E/A-Geräten zu verbessern.

Die Diskrepanz zwischen Hochgeschwindigkeitsgeräten und Geräten mit niedriger Geschwindigkeit führt unweigerlich dazu, dass Hochgeschwindigkeitsgeräte Zeit damit verbringen, auf Geräte mit niedriger Geschwindigkeit zu warten. Das Konzept des Puffers kann dieses Problem sehr gut lösen. Der Puffer ist auch eine wichtige Verkörperung des Producer-Consumer-Modells.

1. Ein Pufferüberlauf führt dazu, dass die Netzwerkverbindung geschlossen wird. Wenn qubf-free erschöpft ist, führt dies zu einem Überlauf des Client-Eingabepuffers. Das Ergebnis ist ein Geschäftsprogramm Zugriff auf Daten nicht möglich.

2. Pufferüberlauf führt zu Befehlsdatenverlust oder -absturz.

Normalerweise gibt es viele Client-Verbindungen, die die maximale Speicherkonfiguration von Redis überschreiten. Die Datenveralterung wirkt sich auf den Zugriff aus Durchführung von Geschäftsprogrammen.

Selbst mehrere Clients führen dazu, dass Redis zu viel Speicher beansprucht, und es kann auch zu Speicherüberlaufproblemen kommen, die zum Absturz von Redis führen können.

2. Client-Puffer

Es gibt zwei weitere Client-Puffer, den Eingabepuffer und den Ausgabepuffer, die beide eingerichtet sind, um die Diskrepanz bei der Anforderungssende- und Verarbeitungsgeschwindigkeit zwischen dem Client und dem Server zu beheben.

Der Eingabepuffer speichert vorübergehend vom Client gesendete Befehle. Es gibt zwei häufige Gründe für einen Überlauf:

Das Schreiben von BigKey, z. B. das gleichzeitige Schreiben von Millionen von Hashes oder das Festlegen von Daten, überschreitet die Größe des Puffers, des Servers Verarbeitet die Anfrage zu langsam, was zu Blockaden führt und die Anfrage nicht rechtzeitig verarbeiten kann, wodurch sich immer mehr vom Client gesendete Anfragen im Puffer ansammeln.

Der Ausgabepuffer speichert vorübergehend die Daten, die vom Redis-Hauptthread an den Client zurückgegeben werden sollen.

Zu diesen Daten gehören einfache und feste OK-Antworten (z. B. die Ausführung des SET-Befehls) oder Fehlermeldungen sowie Ausführungsergebnisse mit variabler Größe und spezifischen Daten (z. B. die Ausführung des HGET-Befehls)

Gemeinsame Ausgabe Puffer Es gibt drei Gründe für einen Überlauf:

Eine große Anzahl von BigKey-Ergebnissen zurückgeben. Einige unangemessene Befehle ausführen. Unangemessene Puffergrößeneinstellung.

Gemessen an den häufigen Ursachen für einen Überlauf in Eingabe- und Ausgabepuffern ist BigKey die wahrscheinlichste Ursache für einen Überlauf Daher sollten wir versuchen, die Verwendung von BigKey zu vermeiden.

Da es für den Eingabepuffer keine Möglichkeit gibt, seine Größe zu ändern (Standard 1G pro Client), können wir nur die Sende- und Verarbeitungsgeschwindigkeit von Befehlen steuern, um Blockierungen so weit wie möglich zu vermeiden.

Vermeiden Sie für den Ausgabepuffer die Verwendung einiger Befehle, die eine große Anzahl von Ergebnissen zurückgeben, wie z. B. KEYS, MONITOR usw. Gleichzeitig können Sie einen Überlauf vermeiden, indem Sie die Größe des Ausgabepuffers anpassen.

3. Kopierpuffer

Der Kopierpuffer wird zum Kopieren zwischen Redis-Master- und Slave-Knoten verwendet. Denn die Datenreplikation zwischen Master- und Slave-Knoten umfasst die vollständige Replikation und die inkrementelle Replikation. Daher ist der Kopierpuffer auch in zwei Typen unterteilt: Kopierpuffer und Kopierrückstandspuffer.

1. Puffer kopieren

Während des vollständigen Replikationsprozesses empfängt der Master-Knoten weiterhin vom Client gesendete Schreibbefehlsanfragen, während er RDB-Dateien an den Slave-Knoten überträgt. Diese Schreibbefehle werden zunächst im Replikationspuffer gespeichert und nach Abschluss der RDB-Dateiübertragung an den Slave-Knoten gesendet und ausgeführt. Um die Datensynchronisation zwischen Master- und Slave-Knoten sicherzustellen, unterhält jeder Slave-Knoten einen Replikationspuffer auf dem Master-Knoten.

Wenn es für den Kopierpuffer lange dauert, bis die Hauptbibliothek RDB-Dateien überträgt und RDB-Dateien von der Slave-Bibliothek lädt, und gleichzeitig die Hauptbibliothek viele Schreibbefehlsvorgänge empfängt, Dies führt dazu, dass der Kopierpuffer voll wird und überläuft.

Um einen Überlauf des Replikationspuffers zu vermeiden, können wir einerseits die vom Masterknoten gespeicherte Datenmenge steuern, was die Übertragung von RDB-Dateien und die Ladezeit von Slave-Bibliotheken beschleunigen kann, um die Ansammlung zu vieler Befehle zu vermeiden im Replikationspuffer.

Sie können die Größe des Replikationspuffers auch angemessener festlegen, um einen Überlauf zu vermeiden, basierend auf dem Datenvolumen des Masterknotens, dem Schreiblastdruck des Masterknotens und der Speichergröße des Masterknotens selbst, um einen Überlauf zu vermeiden. Da der Master-Knoten außerdem einen Replikationspuffer auf dem Slave-Knoten einrichtet, ist der Speicheraufwand des Master-Knotens sehr groß. Daher sollten wir versuchen, einen Master-Knoten zu vermeiden zu viele Slave-Knoten haben.

2. Replikations-Backlog-Puffer

Während des inkrementellen Replikationsprozesses werden Schreibbefehle vorübergehend im Replikationspuffer gespeichert, wenn der Master-Knoten eine regelmäßige Synchronisierung mit dem Slave-Knoten durchführt. Wenn eine Netzwerkunterbrechung zwischen dem Slave-Knoten und dem Master-Knoten auftritt, können Befehlsoperationen, die noch nicht repliziert wurden, aus dem Replikations-Backlog-Puffer synchronisiert werden, nachdem der Slave-Knoten erneut verbunden wurde.

Es ist zu beachten, dass der Kopierrückstandspuffer ein Ringpuffer mit begrenzter Größe ist.

Wenn der Masterknoten den Replikations-Backlog-Puffer füllt, überschreibt er die alten Befehlsdaten im Puffer. Zu diesem Zeitpunkt sind die Daten der Master- und Slave-Knoten inkonsistent.

Als Reaktion auf dieses Problem besteht die allgemeine Möglichkeit, dieses Problem zu lösen, darin, die Größe des Kopierrückstandspuffers zu erhöhen. Die Berechnungsmethode dieser Größe kann im Allgemeinen verwendet werden

缓冲区大小=（主库写入命令速度 * 操作大小 - 主从库间网络传输命令速度 * 操作大小）* 2

#🎜 🎜#Wenn die Anzahl gleichzeitiger Anforderungen zu groß ist und die Puffergröße nicht angepasst werden kann, können Sie die Verwendung der Slicing-Cluster-Methode in Betracht ziehen, um das Problem zu lösen. Der vom AOF-Puffer festgelegte Puffer hat ebenfalls Probleme zwei Typen: AOF-Puffer und AOF-Rewrite-Puffer.

1. AOF-Puffer

Wir alle wissen, dass sich die Lese- und Schreibgeschwindigkeit selbst bei Solid-State-Laufwerken stark von der des Speichers unterscheidet. Der AOF-Puffer wird hauptsächlich von Redis eingerichtet, um das Problem der Synchronisierung zwischen der Befehlsausführungsgeschwindigkeit des Hauptprozesses und der Schreibgeschwindigkeit der Festplatte zu lösen. Der AOF-Puffer kann häufiges Lesen und Schreiben auf der Festplatte effektiv vermeiden und dadurch die Leistung verbessern. Bei der AOF-Persistenz schreibt Redis den Befehl zunächst in den AOF-Puffer und dann gemäß der Rückschreibrichtlinie in die AOF-Datei auf der Festplatte.

Der Überlauf des AOF-Puffers hängt möglicherweise mit der Schreibgeschwindigkeit der Festplatte oder der AOF-Writeback-Strategie zusammen AOF Wenn der Puffer seinen festgelegten Schwellenwert überschreitet, kommt es zu einem Pufferüberlauf. Um dieses Problem zu vermeiden, können wir es lösen, indem wir die Rückschreibstrategie oder die AOF-Puffergröße anpassen.

2. AOF-Rewrite-Puffer

Der AOF-Rewrite-Puffer ist, wenn Redis das AOF-Rewrite im untergeordneten Prozess durchführt und der übergeordnete Prozess den neuen Befehl akzeptiert in den AOF-Rewrite-Puffer geschrieben werden, und nachdem der untergeordnete Prozess neu geschrieben wurde, wird der AOF-Rewrite-Puffer-Befehl an die neue AOF-Datei angehängt.

Der Überlauf des AOF-Rewrite-Puffers hängt mit der Anzahl der Befehle zusammen, die vom Hauptprozess während des AOF-Rewrites verarbeitet werden AOF-Umschreibung Eine große Anzahl von Befehlen wird verarbeitet und diese Befehle werden in den AOF-Umschreibungspuffer geschrieben. Wenn der festgelegte Schwellenwert überschritten wird, kommt es zu einem Überlauf.

Um den Überlauf des AOF-Rewrite-Puffers zu vermeiden, können wir ihn auch lösen, indem wir die Größe des AOF-Rewrite-Puffers anpassen.

Das obige ist der detaillierte Inhalt vonSo beheben Sie den Redis-Pufferüberlauf. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!