LLM 게이트웨이를 구축 할 때 Spring WebFlux를 사용하여 ServerB에서 ServerC 로의 재 시정 전략을 구현하는 방법은 무엇입니까?

스프링 웹 플럭스를 사용하여 LLM 게이트웨이를 구축하기위한 재 시도 메커니즘

LLM 게이트웨이를 구축 할 때 서비스 간의 통신을 처리해야하며 서비스를 사용할 수 없을 때 백업 서비스를 원활하게 전환 할 수 있는지 확인해야합니다. 이 기사는 특히 Spring Webflux를 사용하여이를 달성하는 방법을 살펴볼 것입니다. 특히 서버 B 통신에 대한 게이트웨이 B 통신이 실패하는 경우 서버 C에 다시 연결하는 방법.

장면 설명

LLM 게이트웨이 통화 링크는 다음과 같습니다. 클라이언트-> 게이트웨이-> 서버 B. 서버 B에 대한 게이트웨이 연결이 실패하면 게이트웨이가 서버 C에 다시 재 시도하고 연결할 수 있기를 원합니다.이를 위해서는 게이트웨이가 서버 B의 오류 응답 코드를 캡처하고 실패시 서버 C로 자동으로 전환 할 수 있어야합니다.

코드 분석 및 개선 솔루션

먼저 서버 B 또는 서버 C에 게이트웨이 요청을 처리하는 원래 sseHttp 메소드를 살펴 보겠습니다.

 유량<response> ResponseFlux = webClient.create (URL)
                .우편()
                .Headers (httpheaders-> Setheaders (httpheaders, 헤더)))
                .ContentType (MediaType.Application_json)
                .BodyValue (jsonbody)
                .검색하다()
                .onstatus (상태 -> 상태! = httpstatus.ok, 응답 -> {
                    // 오류 처리 로직})
                // ... 기타 논리 ...</response>

재 시도 전략을 구현하려면 오류가 발생하면 서버 B의 오류 응답 코드를 캡처하고 서버 C로 전환해야합니다. 이전 시도에는 몇 가지 문제가 있습니다. 간단한 try-catch Flux 내부에서 오류를 잡을 수 없습니다. subscribe 방법은 차단하지 않으므로 오류 처리 로직이 제 시간에 적용되지 않습니다.

모범 사례 : retryWhen 활용하고 onErrorResume

위의 문제를 해결하기 위해 Spring Webflux에서 제공하는 retryWhen 및 onErrorResume 연산자를 활용해야합니다.

먼저 sseHttp 메소드를 수정하고 재 시도 로직을 추가하십시오.

 유량<response> ssehttp (string url) {
    webclient를 반환합니다.
            .우편()
            .Headers (httpheaders-> Setheaders (httpheaders, 헤더)))
            .ContentType (MediaType.Application_json)
            .BodyValue (jsonbody)
            .검색하다()
            .onstatus (httpstatus :: iserror, clientResponse-> {
                // 디버깅 리턴 mono.error (new WebClientResponseException ( "서버 반환 오류 상태 :"clientResponse.RawStatusCode (), ClientResponse.RawStatusCode (), ClientResponse.headers (). AshTtPheaders ()
            })
            .BodyToflux (typeref)
            .retryWhen (retry.backoff (3, duration.ofseconds) (1))
                    .filter (Throwable-> WARDABLE 인스턴스 WebClientResponseException)
                    .OnRetryExhaEstedThrow ((사양, 신호) -> 새로운 GatewayException ( "다중 검색 후 서버 B 및 서버 C에 연결하지 못했습니다."));
}</response>

이 코드는 onStatus 사용하여 HTTP 오류 상태 코드를 처리하고 1 초의 시간 간격마다 3 배까지 retryWhen 할 때 다시 시도합니다. filter WebClientResponseException 유형의 예외 만 예외를 재 시도합니다. 재 시도의 수가 소진되면 GatewayException 가 발생합니다.

그런 다음 sseHttp 호출되는 경우 서버 B의 실패를 처리하고 서버 C로 전환하기 위해 onErrorResume 사용하십시오.

 단핵증<response> responsemono = ssehttp (Serverburl)
        .OnerRorResume (WebClientResponseException.class, ex-> {
            log.warn ( "서버 b : {}", ex.getMessage ())에 연결하지 못했습니다. // 로그 오류 로그 return SSEHTTP (ServerCurl);
        })
        .다음();</response>

이 코드는 먼저 서버 B에 연결하려고 시도하며 WebClientResponseException 발생하면 서버 C에 연결하려고합니다. next() 메소드는 하나의 결과 만 반환되도록합니다.

여러 성공적인 응답을 처리합니다

서버 B와 서버 C가 모두 데이터를 성공적으로 반환하면 하나의 응답 만 처리되어야합니다. AtomicBoolean 변수는 응답이 성공적으로 처리되었는지 여부를 추적하는 데 사용될 수 있습니다.

 Atomicboolean 성공 = 새로운 Atomicboolean (False);

유량<response> ssehttp (string url) {
    // ... (이전 코드) ...
    .doonNext (응답 -> {
        if (success.compareAndset (false, true)) {
            // 성공적인 응답 처리}
    })
    // ... (코드의 나머지) ...
}</response>

위의 개선 사항을 통해 서비스 간의 통신 실패를 효과적으로 처리하고 LLM 게이트웨이의 고 가용성을 보장 할 수있는보다 강력한 재 시도 메커니즘을 구현했습니다. 문제 해결을 용이하게하기 위해 충분한 로깅을 추가해야합니다.

위 내용은 LLM 게이트웨이를 구축 할 때 Spring WebFlux를 사용하여 ServerB에서 ServerC 로의 재 시정 전략을 구현하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!