So bereinigen Sie Redis-Speicherfragmente

Was ist Redis-Speicherfragmentierung?

Der insgesamt verbleibende Speicherplatz im Betriebssystem ist ausreichend, aber wenn Sie einen Speicherplatz mit einer fortlaufenden Adresse von N Bytes beantragen, gibt es im verbleibenden Speicherplatz keinen fortlaufenden Speicherplatz von N Bytes , es gibt keine zusammenhängenden Leerzeichen von weniger als N Bytes. Speicherplatz ist Speicherfragmentierung.

Wie entsteht die Redis-Speicherfragmentierung?

Es gibt interne und externe Gründe für die Bildung von Speicherfragmentierung:

• Interner Grund: Die Zuweisungsstrategie des Speicherzuweisers bestimmt, dass das Betriebssystem keine „Zuweisung nach Bedarf“ erreichen kann.

• Redis verwendet libc, jemalloc und tcmalloc, um Speicher zuzuweisen, und jemalloc wird standardmäßig verwendet.

• Der Speicherzuteiler weist Speicherplatz entsprechend einer festen Größe zu, nicht vollständig entsprechend der von der Anwendung angeforderten Speichergröße.

• Am Beispiel von Jemalloc wird der Speicherplatz nach einer Reihe fester Größen unterteilt, z. B. 8 Byte, 16 Byte, 32 Byte, ..., 2 KB, 4 KB usw. Jemalloc weist einen Speicherplatz mit fester Größe zu, der dem vom Programm angeforderten Speicher am nächsten kommt.

• Externer Grund: Die Schlüssel-Wert-Paare sind unterschiedlich groß und die Schlüssel-Wert-Paare können geändert und gelöscht werden.

• Wenn Redis die Speicherplatzzuweisung beantragt, weist der Speicherzuweiser Speicherplatz entsprechend einer festen Größe zu. Der zugewiesene Speicherplatz ist im Allgemeinen größer als der zugewiesene Speicherplatz, was zu bestimmten Problemen führt Probleme. Speicherfragmentierung.

• Schlüssel-Wert-Paare werden geändert und gelöscht, was zu einer Erweiterung und Freigabe des Speicherplatzes führt.

Wie kann festgestellt werden, ob Redis eine Speicherfragmentierung aufweist?

DAS fragt die detaillierten Informationen zur Speichernutzung über den von Redis bereitgestellten Befehl INFO ab. Der Befehl lautet wie folgt:

INFO memory
# Memory
used_memory:350458970752
used_memory_human:326.39G
used_memory_rss:349066919936
used_memory_rss_human:325.09G
…
mem_fragmentation_ratio:1.00

• used_memory: Gibt den tatsächlich von Redis zum Speichern von Daten beantragten Speicherplatz an.

• used_memory_rss: Gibt den physischen Speicherplatz an, der Redis tatsächlich vom Betriebssystem zugewiesen wurde, einschließlich Speicherplatzfragmenten.

• mem_fragmentation_ratio bezieht sich auf die aktuelle Speicherfragmentierungsrate von Redis. Berechnungsformel: mem_fragmentation_ratio=used_memory_rss/used_memory

• mem_fragmentation_ratio ist größer oder gleich 1, aber kleiner oder gleich 1,5. Diese Situation ist angemessen.

• mem_fragmentation_ratio ist größer als 1,5, was darauf hinweist, dass die Speicherfragmentierungsrate 50 % überschritten hat.

Wie bereinige ich Speicherfragmente?

Eine „einfache und grobe“ Methode besteht darin, die Redis-Instanz neu zu starten. Diese Methode hat jedoch zwei Konsequenzen:

• Wenn die Daten in Redis nicht gespeichert werden, gehen die Daten verloren.

• Unabhängig davon, ob die Redis-Daten gespeichert sind, muss AOF oder RDB zum Wiederherstellen verwendet werden Die Wiederherstellungszeit hängt von der Größe der AOF- oder RDB-Datei ab. Und wenn nur eine Redis-Instanz vorhanden ist, können während der Wiederherstellungsphase keine Dienste bereitgestellt werden.

Gibt es also einen besseren Weg? Ja, ab Version 4.0-RC3 bietet Redis selbst eine Methode zum automatischen Bereinigen von Speicherfragmenten.

Automatische Bereinigung von Speicherfragmenten

Bei der Bereinigung von Speicherfragmenten handelt es sich einfach ausgedrückt um „sich bewegen, um Platz zu schaffen und Platz zu verschmelzen“.

Wenn Daten vorhanden sind, die einen kontinuierlichen Speicherplatz in mehrere diskontinuierliche Bereiche aufteilen, kopiert das Betriebssystem die Daten an einen anderen Ort und der ursprüngliche diskontinuierliche Speicherplatz wird zu einem kontinuierlichen Speicherplatz.

Aber Defragmentierung hat ihren Preis. Das Verschieben mehrerer Kopien von Daten an einen neuen Speicherort und das Freigeben des ursprünglichen Speicherplatzes ist etwas, was das Betriebssystem tun muss, aber dieser Vorgang braucht Zeit. Darüber hinaus wird Redis beim Kopieren von Daten blockiert und die Leistung verringert.

Wie kann dieses Problem gelindert werden?

Redis bietet speziell Parametereinstellungen für den automatischen Speicherfragmentierungs-Reinigungsmechanismus. Sie können Parameter festlegen, um den Start- und Endzeitpunkt der Fragmentierungsbereinigung sowie den Anteil der belegten CPU zu steuern und so die Leistungsauswirkungen der Fragmentierungsbereinigung auf die Redis-Anforderungsverarbeitung zu reduzieren.

Aktivieren Sie zunächst die automatische Bereinigung der Speicherfragmentierung:

config set activedefrag yes
Dann legen Sie die Bedingungen fest, um die Speicherbereinigung auszulösen:

• active-defrag-ignore-bytes 100mb: Gibt die Anzahl der Bytes des Speichers an Fragmentierung erreicht 100 MB, Reinigung starten;

• active-defrag-threshold-lower 10: Gibt an, dass die Bereinigung beginnt, wenn der Speicherfragmentierungsraum 10 % des gesamten vom Betriebssystem zugewiesenen Speicherplatzes für Redis ausmacht.

Kontrollieren Sie abschließend die Ober- und Untergrenze des Anteils der CPU-Zeit, der durch Reinigungsvorgänge belegt wird:

• active-defrag-cycle-min 25: Gibt an, dass der Anteil der CPU-Zeit, der vom automatischen Reinigungsvorgang genutzt wird, beträgt nicht weniger als 25 %, um sicherzustellen, dass die Reinigung normal durchgeführt werden kann;

• active-defrag-cycle-max 75: Zeigt an, dass der Anteil der für den automatischen Reinigungsprozess verwendeten CPU-Zeit nicht höher als 75 % ist Wenn dieser Wert überschritten wird, wird die Bereinigung gestoppt, wodurch vermieden wird, dass Redis während der Bereinigung durch eine große Anzahl von Speicherkopien blockiert wird, was zu einer erhöhten Antwortlatenz führt.

Das obige ist der detaillierte Inhalt vonSo bereinigen Sie Redis-Speicherfragmente. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!