Einführung
Beim Aufbau verteilter Systeme spielen Nachrichtenwarteschlangen wie Amazon SQS eine entscheidende Rolle bei der Bewältigung asynchroner Arbeitslasten. In diesem Beitrag teile ich meine Erfahrungen bei der Implementierung eines robusten SQS-Consumers in Go, der Benutzerregistrierungsereignisse für Keycloak verarbeitet. Die Lösung nutzt das Fan-Out/Fan-In-Parallelitätsmuster, um Nachrichten effizient zu verarbeiten, ohne die Systemressourcen zu überlasten.
Die Herausforderung
Ich stand vor einem interessanten Problem: Verarbeiten Sie täglich etwa 50.000 SQS-Ereignisse, um Benutzer in Keycloak zu registrieren. Ein naiver Ansatz könnte für jede Nachricht eine neue Goroutine erzeugen, aber dies könnte schnell zur Erschöpfung der Ressourcen führen. Wir brauchten einen kontrollierteren Ansatz für die Parallelität.
Warum Fan-out/Fan-in?
Das Fan-Out/Fan-In-Muster ist für diesen Anwendungsfall perfekt, weil es:
- Verwaltet einen festen Pool von Worker-Goroutinen
- Verteilt die Arbeit gleichmäßig auf die Mitarbeiter
- Verhindert die Erschöpfung der Ressourcen
- Bietet eine bessere Kontrolle über gleichzeitige Vorgänge
Tiefer Einblick in die Implementierung
1. Die Verbraucherstruktur
Schauen wir uns zunächst unsere grundlegende Verbraucherstruktur an:
type Consumer struct { Client *sqs.Client QueueName string }
2. Nachrichtenverarbeitungspipeline
Die Implementierung besteht aus drei Hauptkomponenten:
- Nachrichtenempfänger: Fragt SQS kontinuierlich nach neuen Nachrichten ab
- Worker-Pool: Anzahl der Goroutinen, die Nachrichten verarbeiten, wurde korrigiert
- Nachrichtenkanal: Verbindet den Empfänger mit den Mitarbeitern
So starten wir den Verbraucher:
func StartPool[requestBody any]( serviceFunc func(c context.Context, dto *requestBody) error, consumer *Consumer) { ctx := context.Background() params := &sqs.ReceiveMessageInput{ MaxNumberOfMessages: 10, QueueUrl: aws.String(consumer.QueueName), WaitTimeSeconds: 20, VisibilityTimeout: 30, MessageAttributeNames: []string{ string(types.QueueAttributeNameAll), }, } msgCh := make(chan types.Message) var wg sync.WaitGroup // Start worker pool first startPool(ctx, msgCh, &wg, consumer, serviceFunc) // Then start receiving messages // ... rest of the implementation }
3. Wichtige Konfigurationsparameter
Lassen Sie uns die entscheidenden SQS-Konfigurationsparameter untersuchen:
- MaxNumberOfMessages (10): Stapelgröße für jede Umfrage
- WaitTimeSeconds (20): Lange Abfragedauer
- VisibilityTimeout (30): Kulanzzeitraum für die Nachrichtenverarbeitung
4. Implementierung des Worker-Pools
Im Worker-Pool kommt das Fan-out-Muster ins Spiel:
func startPool[requestBody any]( ctx context.Context, msgCh chan types.Message, wg *sync.WaitGroup, consumer *Consumer, serviceFunc func(c context.Context, dto *requestBody) error) { processingMessages := &sync.Map{} // Start 10 workers for i := 0; i <h3> 5. Umgang mit doppelten Nachrichten </h3> <p>Wir verwenden eine sync.Map, um die Verarbeitung doppelter Nachrichten zu verhindern:<br> </p><pre class="brush:php;toolbar:false">type Consumer struct { Client *sqs.Client QueueName string }
Best Practices und Erkenntnisse
- Fehlerbehandlung: Behandeln Sie Fehler immer ordnungsgemäß und protokollieren Sie sie ordnungsgemäß
- Nachrichtenbereinigung: Nachrichten erst nach erfolgreicher Verarbeitung löschen
- Graceful Shutdown: Implementieren Sie geeignete Abschaltmechanismen mithilfe des Kontexts
- Überwachung: Fügen Sie zur Beobachtbarkeit Protokollierung an wichtigen Punkten hinzu
Leistungsüberlegungen
- Anzahl der Mitarbeiter: Wählen Sie basierend auf Ihrer Arbeitsbelastung und den verfügbaren Ressourcen
- Chargengröße: Gleichgewicht zwischen Durchsatz und Verarbeitungszeit
- Sichtbarkeits-Timeout: Stellen Sie es entsprechend Ihrer durchschnittlichen Verarbeitungszeit ein
Zukünftige Verbesserungen
- Dynamische Worker-Skalierung: Passen Sie die Worker-Anzahl basierend auf der Warteschlangentiefe an
- Leistungsschalter: Leistungsschalter für nachgelagerte Dienste hinzufügen
- Metriksammlung: Fügen Sie Prometheus-Metriken zur Überwachung hinzu
- Warteschlange für nicht zustellbare Nachrichten: Implementieren Sie die DLQ-Behandlung für fehlgeschlagene Nachrichten
- Wiederholungen: Exponentielles Backoff für vorübergehende Fehler hinzufügen
Abschluss
Das Fan-Out/Fan-In-Muster bietet eine elegante Lösung für die Verarbeitung großer SQS-Nachrichten in Go. Durch die Aufrechterhaltung eines festen Worker-Pools vermeiden wir die Fallstricke einer unbegrenzten Goroutine-Erstellung und stellen gleichzeitig eine effiziente Nachrichtenverarbeitung sicher.
Denken Sie daran, bei der Implementierung solcher Muster immer Ihren spezifischen Anwendungsfall zu berücksichtigen. Die hier angezeigten Konfigurationswerte (Worker-Anzahl, Timeout-Werte usw.) sollten basierend auf Ihren Anforderungen und Ressourcenbeschränkungen angepasst werden.
Quellcode: [Link zu Ihrem Repository, falls verfügbar]
Tags: #golang #aws #sqs #concurrency #distributed-systems
Das obige ist der detaillierte Inhalt vonErstellen eines skalierbaren SQS-Verbrauchers in Go. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

GoisidealforbuildingsCalablesSystemsDuetoitsSimplicity, Effizienz und verblüfftem Inconcurrencysupport.1) Go'ScleanSyNtaxandminimalisticDeInenHanceProductivity und ReduzienEirrors.2) ItsgoroutinesandchannelsableCrentCrent-Programme, Distrioutines und ChannelenableCrent-Programme, DistributingworkloNecrent-Programme,

Initunctionsingorunautomatischbeforemain () und sarEsfulForsSetingupenvironmentsandinitializingVariables

GoinitializespackagesintheordertheyareImported, SheexecuteStfunctionSwitHinapackageInredeDinitionorder und FileNamesDeterminetheorderacrossmultipleFiles

CustomInterFacesingoarecrucialForwritingFlexible, Wartelable und testableCode

Der Grund für die Verwendung von Schnittstellen für Simulation und Test ist, dass die Schnittstelle die Definition von Verträgen ohne Angabe von Implementierungen ermöglicht, wodurch die Tests isolierter und einfacher werden. 1) Die implizite Implementierung der Schnittstelle erleichtert es einfach, Scheinobjekte zu erstellen, die reale Implementierungen bei den Tests ersetzen können. 2) Die Verwendung von Schnittstellen kann die tatsächliche Implementierung des Dienstes in Unit -Tests problemlos ersetzen und die Komplexität und die Zeit der Tests reduzieren. 3) Die von der Schnittstelle bereitgestellte Flexibilität ermöglicht Änderungen des simulierten Verhaltens für verschiedene Testfälle. 4) Schnittstellen helfen von Anfang an, Testable -Code zu entwerfen und die Modularität und Wartbarkeit des Codes zu verbessern.

In Go wird die Init -Funktion für die Paketinitialisierung verwendet. 1) Die Init -Funktion wird automatisch bei der Paketinitialisierung aufgerufen und ist geeignet, um globale Variablen zu initialisieren, Verbindungen zu setzen und Konfigurationsdateien zu laden. 2) Es kann mehrere Init -Funktionen geben, die in Dateireihenfolge ausgeführt werden können. 3) Bei der Verwendung sollten die Ausführungsreihenfolge, die Testschwierigkeit und die Leistungsauswirkungen in Betracht gezogen werden. 4) Es wird empfohlen, Nebenwirkungen zu reduzieren, die Abhängigkeitsinjektion zu verwenden und die Initialisierung zu verzögern, um die Verwendung von Init -Funktionen zu optimieren.

GO'SSelectstatementsTreamlinesConcurrentProgrammingByMultiplexingoperationen.1) ITallowswaitingonMultiPhanneloperationen, ExecutingTheFirstreadyone) TheDefaultCasepreventsDeadlocksByAntheProgramtoprosectroseverifnooperation.3) itcanpeusedefoursend

Contextandwaitgroupsarecrucialingoforminggoroutineseffektiv.1) contextAllowSsignalingCancellationanddeadlinesAcrossapiobears, Sicherstellung von Goroutinescanbesten


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

Sicherer Prüfungsbrowser
Safe Exam Browser ist eine sichere Browserumgebung für die sichere Teilnahme an Online-Prüfungen. Diese Software verwandelt jeden Computer in einen sicheren Arbeitsplatz. Es kontrolliert den Zugriff auf alle Dienstprogramme und verhindert, dass Schüler nicht autorisierte Ressourcen nutzen.

PHPStorm Mac-Version
Das neueste (2018.2.1) professionelle, integrierte PHP-Entwicklungstool

MinGW – Minimalistisches GNU für Windows
Dieses Projekt wird derzeit auf osdn.net/projects/mingw migriert. Sie können uns dort weiterhin folgen. MinGW: Eine native Windows-Portierung der GNU Compiler Collection (GCC), frei verteilbare Importbibliotheken und Header-Dateien zum Erstellen nativer Windows-Anwendungen, einschließlich Erweiterungen der MSVC-Laufzeit zur Unterstützung der C99-Funktionalität. Die gesamte MinGW-Software kann auf 64-Bit-Windows-Plattformen ausgeführt werden.

MantisBT
Mantis ist ein einfach zu implementierendes webbasiertes Tool zur Fehlerverfolgung, das die Fehlerverfolgung von Produkten unterstützen soll. Es erfordert PHP, MySQL und einen Webserver. Schauen Sie sich unsere Demo- und Hosting-Services an.

VSCode Windows 64-Bit-Download
Ein kostenloser und leistungsstarker IDE-Editor von Microsoft
