LLMゲートウェイを構築するときにSpring WebFluxを使用してServerBからServerCへの再試行戦略を実装する方法は？

Spring WebFluxを使用してLLMゲートウェイを構築するための再試行メカニズム

LLMゲートウェイを構築する場合、サービス間の通信を処理し、サービスが利用できない場合、バックアップサービスにシームレスに切り替えることができることを確認する必要があります。この記事では、特にサーバーB通信へのゲートウェイが失敗した場合、Spring WebFluxを使用してこれを達成する方法、サーバーCへの接続方法について説明します。

シーンの説明

LLMゲートウェイコールリンクは次のとおりです。クライアント - >ゲートウェイ - >サーバーB.サーバーBへのゲートウェイ接続が失敗した場合、ゲートウェイがサーバーCに再び接続して接続できるようにする必要があります。

コード分​​析と改善ソリューション

まず、サーバーBまたはサーバーCへのゲートウェイリクエストを処理する元のsseHttpメソッドを見てみましょう。

フラックス<response> ResponseFlux = webclient.create（url）
                。役職（）
                .headers（httpheaders-> setheaders（httpheaders、headers））
                .contentType（mediatype.application_json）
                .bodyvalue（jsonbody）
                .retrieve（）
                .onstatus（status-> status！= httpstatus.ok、respons-> {
                    //ロジックのエラーエラー}）
                // ...その他のロジック...</response>

再試行戦略を実装するには、サーバーBのエラー応答コードをキャプチャし、エラーが発生したときにサーバーCに切り替える必要があります。以前の試みにはいくつかの問題があります。単純なtry-catch Flux内でエラーをキャッチできません。 subscribeメソッドはノンブロッキングであるため、エラー処理ロジックが時間内に有効になりません。

ベストプラクティス： retryWhenとonErrorResumeを利用してください

上記の問題を解決するには、Spring WebFluxが提供するretryWhenおよびonErrorResumeオペレーターを利用する必要があります。

まず、 sseHttpメソッドを変更し、RETRYロジックを追加します。

フラックス<response> ssehttp（string url）{
    webclient.create（url）を返す
            。役職（）
            .headers（httpheaders-> setheaders（httpheaders、headers））
            .contentType（mediatype.application_json）
            .bodyvalue（jsonbody）
            .retrieve（）
            .onstatus（httpstatus :: iserror、clientresponse-> {
                //ログエラーログログを容易にしますreturn mono.error（new webclientResponseException（ "サーバーの返されたエラーステータス：" clientresponse.rawstatuscode（）、clientresponse.rawstatuscode（）、clientresponse.headers（）。
            }）
            .bodytoflux（typeref）
            .retryWhen（retry.backoff（3、duration.ofseconds（1））
                    .filter（スロー可能 - > webclientResponseExceptionのスロー可能なインスタンス）
                    .ONRETRYEXAXTEDEDEDEDTHROW（（SPEC、SIGNAL） - > new GateWayException（ "複数の再試行後にサーバーBとサーバーCの両方に接続できなかった。"））;
}</response>

このコードは、 onStatusを使用してHTTPエラーステータスコードを処理し、 retryWhenで再試行し、1秒の時間間隔ごとに最大3回再試行します。 filter 、型WebClientResponseExceptionの型の例外のみが再試行されることを保証します。再試行の数が使い果たされている場合、 GatewayExceptionがスローされます。

次に、 sseHttpが呼び出される場合、 onErrorResumeを使用してサーバーBの障害を処理し、サーバーCに切り替えます。

単核症<response> respensemono = ssehttp（serverburl）
        .onerrorresume（webclientResponseException.class、ex  - > {
            log.warn（ "サーバーBに接続できなかった：{}"、ex.getMessage（））; // logエラーログを返しますssehttp（servercurl）;
        }）
        。次（）;</response>

このコードは最初にサーバーBに接続しようとします。WebClientResponseException WebClientResponseException発生した場合、サーバーCに接続しようとします。 next()メソッドは、1つの結果のみが返されることを保証します。

複数の成功した応答を処理します

サーバーBとサーバーCの両方がデータを正常に返す場合、1つの応答のみが処理されていることを確認する必要があります。 AtomicBoolean変数を使用して、応答が正常に処理されたかどうかを追跡できます。

 Atomicboolean success = new Atomicboolean（false）;

フラックス<response> ssehttp（string url）{
    // ...（前のコード）...
    .doonnext（response-> {
        if（success.compareandset（false、true）））{
            //成功した応答の処理}
    }）
    // ...（コードの残り）...
}</response>

上記の改善を通じて、サービス間の通信障害を効果的に処理し、LLMゲートウェイの高可用性を確保できる、より堅牢な再試行メカニズムを実装しました。トラブルシューティングを容易にするのに十分なロギングを追加することを忘れないでください。

以上がLLMゲートウェイを構築するときにSpring WebFluxを使用してServerBからServerCへの再試行戦略を実装する方法は？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。