Einführung
Beim Aufbau verteilter Systeme spielen Nachrichtenwarteschlangen wie Amazon SQS eine entscheidende Rolle bei der Bewältigung asynchroner Arbeitslasten. In diesem Beitrag teile ich meine Erfahrungen bei der Implementierung eines robusten SQS-Consumers in Go, der Benutzerregistrierungsereignisse für Keycloak verarbeitet. Die Lösung nutzt das Fan-Out/Fan-In-Parallelitätsmuster, um Nachrichten effizient zu verarbeiten, ohne die Systemressourcen zu überlasten.
Die Herausforderung
Ich stand vor einem interessanten Problem: Verarbeiten Sie täglich etwa 50.000 SQS-Ereignisse, um Benutzer in Keycloak zu registrieren. Ein naiver Ansatz könnte für jede Nachricht eine neue Goroutine erzeugen, aber dies könnte schnell zur Erschöpfung der Ressourcen führen. Wir brauchten einen kontrollierteren Ansatz für die Parallelität.
Warum Fan-out/Fan-in?
Das Fan-Out/Fan-In-Muster ist für diesen Anwendungsfall perfekt, weil es:
- Verwaltet einen festen Pool von Worker-Goroutinen
- Verteilt die Arbeit gleichmäßig auf die Mitarbeiter
- Verhindert die Erschöpfung der Ressourcen
- Bietet eine bessere Kontrolle über gleichzeitige Vorgänge
Tiefer Einblick in die Implementierung
1. Die Verbraucherstruktur
Schauen wir uns zunächst unsere grundlegende Verbraucherstruktur an:
type Consumer struct { Client *sqs.Client QueueName string }
2. Nachrichtenverarbeitungspipeline
Die Implementierung besteht aus drei Hauptkomponenten:
- Nachrichtenempfänger: Fragt SQS kontinuierlich nach neuen Nachrichten ab
- Worker-Pool: Anzahl der Goroutinen, die Nachrichten verarbeiten, wurde korrigiert
- Nachrichtenkanal: Verbindet den Empfänger mit den Mitarbeitern
So starten wir den Verbraucher:
func StartPool[requestBody any]( serviceFunc func(c context.Context, dto *requestBody) error, consumer *Consumer) { ctx := context.Background() params := &sqs.ReceiveMessageInput{ MaxNumberOfMessages: 10, QueueUrl: aws.String(consumer.QueueName), WaitTimeSeconds: 20, VisibilityTimeout: 30, MessageAttributeNames: []string{ string(types.QueueAttributeNameAll), }, } msgCh := make(chan types.Message) var wg sync.WaitGroup // Start worker pool first startPool(ctx, msgCh, &wg, consumer, serviceFunc) // Then start receiving messages // ... rest of the implementation }
3. Wichtige Konfigurationsparameter
Lassen Sie uns die entscheidenden SQS-Konfigurationsparameter untersuchen:
- MaxNumberOfMessages (10): Stapelgröße für jede Umfrage
- WaitTimeSeconds (20): Lange Abfragedauer
- VisibilityTimeout (30): Kulanzzeitraum für die Nachrichtenverarbeitung
4. Implementierung des Worker-Pools
Im Worker-Pool kommt das Fan-out-Muster ins Spiel:
func startPool[requestBody any]( ctx context.Context, msgCh chan types.Message, wg *sync.WaitGroup, consumer *Consumer, serviceFunc func(c context.Context, dto *requestBody) error) { processingMessages := &sync.Map{} // Start 10 workers for i := 0; i <h3> 5. Umgang mit doppelten Nachrichten </h3> <p>Wir verwenden eine sync.Map, um die Verarbeitung doppelter Nachrichten zu verhindern:<br> </p><pre class="brush:php;toolbar:false">type Consumer struct { Client *sqs.Client QueueName string }
Best Practices und Erkenntnisse
- Fehlerbehandlung: Behandeln Sie Fehler immer ordnungsgemäß und protokollieren Sie sie ordnungsgemäß
- Nachrichtenbereinigung: Nachrichten erst nach erfolgreicher Verarbeitung löschen
- Graceful Shutdown: Implementieren Sie geeignete Abschaltmechanismen mithilfe des Kontexts
- Überwachung: Fügen Sie zur Beobachtbarkeit Protokollierung an wichtigen Punkten hinzu
Leistungsüberlegungen
- Anzahl der Mitarbeiter: Wählen Sie basierend auf Ihrer Arbeitsbelastung und den verfügbaren Ressourcen
- Chargengröße: Gleichgewicht zwischen Durchsatz und Verarbeitungszeit
- Sichtbarkeits-Timeout: Stellen Sie es entsprechend Ihrer durchschnittlichen Verarbeitungszeit ein
Zukünftige Verbesserungen
- Dynamische Worker-Skalierung: Passen Sie die Worker-Anzahl basierend auf der Warteschlangentiefe an
- Leistungsschalter: Leistungsschalter für nachgelagerte Dienste hinzufügen
- Metriksammlung: Fügen Sie Prometheus-Metriken zur Überwachung hinzu
- Warteschlange für nicht zustellbare Nachrichten: Implementieren Sie die DLQ-Behandlung für fehlgeschlagene Nachrichten
- Wiederholungen: Exponentielles Backoff für vorübergehende Fehler hinzufügen
Abschluss
Das Fan-Out/Fan-In-Muster bietet eine elegante Lösung für die Verarbeitung großer SQS-Nachrichten in Go. Durch die Aufrechterhaltung eines festen Worker-Pools vermeiden wir die Fallstricke einer unbegrenzten Goroutine-Erstellung und stellen gleichzeitig eine effiziente Nachrichtenverarbeitung sicher.
Denken Sie daran, bei der Implementierung solcher Muster immer Ihren spezifischen Anwendungsfall zu berücksichtigen. Die hier angezeigten Konfigurationswerte (Worker-Anzahl, Timeout-Werte usw.) sollten basierend auf Ihren Anforderungen und Ressourcenbeschränkungen angepasst werden.
Quellcode: [Link zu Ihrem Repository, falls verfügbar]
Tags: #golang #aws #sqs #concurrency #distributed-systems
Das obige ist der detaillierte Inhalt vonErstellen eines skalierbaren SQS-Verbrauchers in Go. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Dieser Artikel erläutert die Paketimportmechanismen von Go: benannte Importe (z. B. importieren & quot; fmt & quot;) und leere Importe (z. B. Import _ & quot; fmt & quot;). Benannte Importe machen Paketinhalte zugänglich, während leere Importe nur T ausführen

In diesem Artikel werden die Newflash () -Funktion von BeEGO für die Übertragung zwischen PAGE in Webanwendungen erläutert. Es konzentriert sich auf die Verwendung von Newflash (), um temporäre Nachrichten (Erfolg, Fehler, Warnung) zwischen den Controllern anzuzeigen und den Sitzungsmechanismus zu nutzen. Limita

Dieser Artikel beschreibt die effiziente Konvertierung von MySQL -Abfrageergebnissen in GO -Strukturscheiben. Es wird unter Verwendung der SCAN -Methode von Datenbank/SQL zur optimalen Leistung hervorgehoben, wobei die manuelle Parsen vermieden wird. Best Practices für die Struktur -Feldzuordnung mithilfe von DB -Tags und Robus

Dieser Artikel zeigt, dass Mocks und Stubs in GO für Unit -Tests erstellen. Es betont die Verwendung von Schnittstellen, liefert Beispiele für Mock -Implementierungen und diskutiert Best Practices wie die Fokussierung von Mocks und die Verwendung von Assertion -Bibliotheken. Die Articl

In diesem Artikel werden die benutzerdefinierten Typ -Einschränkungen von GO für Generika untersucht. Es wird beschrieben, wie Schnittstellen die minimalen Typanforderungen für generische Funktionen definieren und die Sicherheitstypsicherheit und die Wiederverwendbarkeit von Code verbessern. Der Artikel erörtert auch Einschränkungen und Best Practices

Dieser Artikel beschreibt effizientes Dateischreiben in Go und vergleicht OS.WriteFile (geeignet für kleine Dateien) mit OS.openfile und gepufferter Schreibvorgänge (optimal für große Dateien). Es betont eine robuste Fehlerbehandlung, die Verwendung von Aufschub und Überprüfung auf bestimmte Fehler.

In dem Artikel werden Schreiben von Unit -Tests in GO erörtert, die Best Practices, Spottechniken und Tools für ein effizientes Testmanagement abdecken.

In diesem Artikel wird die Verwendung von Tracing -Tools zur Analyse von GO -Anwendungsausführungsfluss untersucht. Es werden manuelle und automatische Instrumentierungstechniken, den Vergleich von Tools wie Jaeger, Zipkin und Opentelemetrie erörtert und die effektive Datenvisualisierung hervorheben


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

DVWA
Damn Vulnerable Web App (DVWA) ist eine PHP/MySQL-Webanwendung, die sehr anfällig ist. Seine Hauptziele bestehen darin, Sicherheitsexperten dabei zu helfen, ihre Fähigkeiten und Tools in einem rechtlichen Umfeld zu testen, Webentwicklern dabei zu helfen, den Prozess der Sicherung von Webanwendungen besser zu verstehen, und Lehrern/Schülern dabei zu helfen, in einer Unterrichtsumgebung Webanwendungen zu lehren/lernen Sicherheit. Das Ziel von DVWA besteht darin, einige der häufigsten Web-Schwachstellen über eine einfache und unkomplizierte Benutzeroberfläche mit unterschiedlichen Schwierigkeitsgraden zu üben. Bitte beachten Sie, dass diese Software

PHPStorm Mac-Version
Das neueste (2018.2.1) professionelle, integrierte PHP-Entwicklungstool

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

MinGW – Minimalistisches GNU für Windows
Dieses Projekt wird derzeit auf osdn.net/projects/mingw migriert. Sie können uns dort weiterhin folgen. MinGW: Eine native Windows-Portierung der GNU Compiler Collection (GCC), frei verteilbare Importbibliotheken und Header-Dateien zum Erstellen nativer Windows-Anwendungen, einschließlich Erweiterungen der MSVC-Laufzeit zur Unterstützung der C99-Funktionalität. Die gesamte MinGW-Software kann auf 64-Bit-Windows-Plattformen ausgeführt werden.

ZendStudio 13.5.1 Mac
Leistungsstarke integrierte PHP-Entwicklungsumgebung
