Comment implémenter un mécanisme de réception de reprise après sinistre de ServerB à ServerC dans Spring Webflux?

Spring Webflux construit la solution de réception de la reprise après sinistre de la passerelle LLM

Cet article explique comment construire un mécanisme efficace de reprise après sinistre et de réessayer pour la passerelle LLM dans le cadre de Spring WebFlux. Scénario spécifique: lorsque la demande de la passerelle vers le serveur B échoue, réessayez automatiquement le serveur C pour s'assurer que le client (client A) obtient la réponse correcte, même si le serveur B n'est pas disponible. Le schéma prend en charge la transmission de données textuelles des événements de serveur (SSE).

défi

Client A Accédez au serveur B via la passerelle. Si la connexion entre la passerelle et le serveur B échoue, la passerelle doit passer automatiquement au serveur C et réessayer. L'objectif est que le client A peut recevoir les résultats corrects même si le serveur B échoue, tant que le serveur C est disponible. De plus, l'intégrité et la séquence des flux de données SSE doivent être assurées.

Solution: stratégie de reprise après sinistre basée sur retryWhen et onErrorResume

Utilisez Spring Webflux's retryWhen WHEN OPERATOR et onErrorResume Opérateur pour construire une logique de retoue flexible.

1. Capture d'erreur et réessayer: retryWhen Interceptions les erreurs, décidez de réessayer en fonction du type d'erreur. Si le serveur C RETRY échoue, le message d'erreur est renvoyé au client A.
2. Évitez les réponses en double: utilisez des drapeaux (tels que AtomicBoolean ) pour vous assurer que seule la première réponse réussie est renvoyée, empêchant les réponses en double lorsque le serveur B et le serveur C sont disponibles.

Exemple de code:

 Atomicboolean aretried = new atomicboolien (false);

Flux<response> réponseflux = ssehttp (serverb.getUrl ())
    .RetryWHen (Companion -> Companion.flatMap (erreur -> {
        if (erreur d'erreur de GatewayException) {
            // Exception de la passerelle, essayez de vous connecter au serveur C
            return ssehttp (serverc.getUrl ())
                .flatMap (serverCrupSonse -> {
                    Hasretried.set (true);
                    return Flux.Just (serverCResponse);
                });
        } autre {
            // Autres erreurs Renvoie directement Flux.Error (erreur);
        }
    }))
    .onerrorRresume (error -> {
        // Server C n'a pas réussi à réessayer, renvoie une réponse d'erreur au client A
        return flux.Just (GatewayExceptionHandler.ToStreArrorResponse (
            Nouveau GatewayException ("Erreur de service en amont.", httpstatus.internal_server_error)));
    })
    .Doonnext (réponse -> {
        if (! Hasretried.get ()) {
            // ne traite que la première réponse réussie // ... votre logique d'origine ici ...
        }
    });</response>

Dans cet exemple, retryWhen WHEN ACTRIE ERREUR DE SERVER B et essaie de se connecter au serveur C. L'indicateur hasRetried garantit que seule la première réponse réussie est traitée.

Résumer

Grâce à retryWhen et onErrorResume et combinés avec le contrôle du bit de drapeau, nous avons implémenté un mécanisme de récession efficace de récession de catastrophe de passerelle LLM efficace dans l'environnement Spring Webflux pour assurer une disponibilité élevée de services et assurer l'intégrité du flux de données SSE. Cette solution est flexible et évolutive et convient à tous les types de politiques de gestion des erreurs et de réessayer.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!