Bagaimana untuk melaksanakan strategi semula dari ServerB ke Serverc menggunakan Spring WebFlux ketika membina LLM Gateway?

Mekanisme Retry untuk Membina LLM Gateway Menggunakan Spring WebFlux

Apabila membina gerbang LLM, komunikasi antara perkhidmatan perlu dikendalikan dan memastikan bahawa apabila perkhidmatan tidak tersedia, adalah mungkin untuk beralih ke perkhidmatan sandaran dengan lancar. Artikel ini akan meneroka bagaimana untuk mencapai ini menggunakan WebFlux Spring, terutamanya jika Gateway ke Server B Communication gagal, bagaimana untuk mencuba dan menyambung ke Server C.

Penerangan adegan

Pautan panggilan gerbang LLM kami ialah: Client-> Gateway-> Server B. Jika sambungan Gateway ke Server B gagal, kami mahu Gateway dapat mencuba dan menyambung ke Server C. Ini memerlukan Gateway dapat menangkap kod respons ralat pelayan B dan secara automatik beralih ke Server C pada kegagalan.

Analisis Kod dan Penyelesaian Penambahbaikan

Mari kita lihat terlebih dahulu kaedah sseHttp yang asal, yang mengendalikan permintaan Gateway ke pelayan B atau pelayan C:

 Fluks<response> ResponseFlux = WebClient.Create (URL)
                .post ()
                .headers (httpheaders -> Setheaders (httpheaders, headers))
                .ContentType (mediatype.application_json)
                .bodyValue (jsonbody)
                .retrieve ()
                .onstatus (status -> status! = httpstatus.ok, respons -> {
                    // logik pengendalian ralat})
                // ... logik lain ...</response>

Untuk melaksanakan strategi semula, kita perlu menangkap kod respons ralat Server B dan beralih ke Server C apabila ralat berlaku. Terdapat beberapa masalah dengan percubaan terdahulu: try-catch tidak dapat menangkap kesilapan di dalam Flux ; Kaedah subscribe tidak menyekat, mengakibatkan logik pengendalian ralat tidak berkuatkuasa dalam masa.

Amalan Terbaik: Gunakan retryWhen dan onErrorResume

Untuk menyelesaikan masalah di atas, kita harus mengambil kesempatan daripada retryWhen dan pengendali onErrorResume yang disediakan oleh Spring WebFlux.

Pertama, ubah kaedah sseHttp dan tambahkan logik semula:

 Fluks<response> ssehttp (url string) {
    Kembalikan WebClient.Create (URL)
            .post ()
            .headers (httpheaders -> Setheaders (httpheaders, headers))
            .ContentType (mediatype.application_json)
            .bodyValue (jsonbody)
            .retrieve ()
            .onstatus (httpstatus :: iserror, clientResponse -> {
                Log ralat log log untuk memudahkan debugging pulangan mono.error (WebClientResponsepception baru ("status ralat yang dikembalikan pelayan:" clientResponse.rawStatusCode (), clientResponse.rawStatusCode (), clientResponse.Headers ().
            })
            .bodyToFlux (syperef)
            .RetryWhen (Retry.Backoff (3, Duration.ofseconds (1))
                    .filter (boleh dibuang -> Contoh yang boleh dibuang WebClientResponseException)
                    .onretryExhausThrow ((spec, signal) -> gatewayexception baru ("gagal menyambung ke kedua -dua pelayan b dan pelayan c selepas mengambil semula beberapa.")));
}</response>

Kod ini menggunakan onStatus untuk memproses kod status ralat HTTP dan cuba semula dengan retryWhen , semula, cuba semula sehingga 3 kali, setiap selang masa 1 saat. filter memastikan bahawa hanya pengecualian jenis WebClientResponseException yang diceritakan semula. Sekiranya bilangan semula habis, GatewayException dilemparkan.

Kemudian, di mana sseHttp dipanggil, gunakan onErrorResume untuk mengendalikan kegagalan pelayan B dan beralih ke pelayan C:

 Mono<response> responsemono = ssehttp (serverburl)
        .onerrorresume (WebClientResponseException.class, ex -> {
            log.warn ("gagal menyambung ke pelayan b: {}", ex.getMessage ()); // log ralat log kembali ssehttp (servercurl);
        })
        .next ();</response>

Kod ini mula -mula cuba menyambung ke Server B, dan jika WebClientResponseException berlaku, ia cuba untuk menyambung ke Server C. Kaedah next() memastikan bahawa hanya satu hasil yang dikembalikan.

Mengendalikan pelbagai respons yang berjaya

Jika kedua -dua pelayan B dan Server C berjaya mengembalikan data, kita perlu memastikan bahawa hanya satu tindak balas yang diproses. Pembolehubah AtomicBoolean boleh digunakan untuk mengesan sama ada respons telah diproses dengan jayanya:

 AtomicBoolean Success = New AtomicBoolean (False);

Fluks<response> ssehttp (url string) {
    // ... (kod sebelumnya) ...
    .doonNext (respons -> {
        jika (kejayaan.compareandset (palsu, benar)) {
            // memproses tindak balas yang berjaya}
    })
    // ... (selebihnya kod) ...
}</response>

Melalui penambahbaikan di atas, kami telah melaksanakan mekanisme semula yang lebih mantap yang dapat mengendalikan kegagalan komunikasi antara perkhidmatan dan memastikan ketersediaan gerbang LLM yang tinggi. Ingatlah untuk menambah pembalakan yang mencukupi untuk memudahkan penyelesaian masalah.

Atas ialah kandungan terperinci Bagaimana untuk melaksanakan strategi semula dari ServerB ke Serverc menggunakan Spring WebFlux ketika membina LLM Gateway?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!