찾다
백엔드 개발GolangGo에서 확장 가능한 SQS 소비자 구축

Building a Scalable SQS Consumer in Go

소개

분산 시스템을 구축할 때 Amazon SQS와 같은 메시지 대기열은 비동기식 워크로드를 처리하는 데 중요한 역할을 합니다. 이 게시물에서는 Keycloak에 대한 사용자 등록 이벤트를 처리하는 강력한 SQS 소비자를 Go에서 구현한 경험을 공유하겠습니다. 이 솔루션은 팬아웃/팬인 동시성 패턴을 사용하여 시스템 리소스를 과도하게 사용하지 않고도 효율적으로 메시지를 처리합니다.

도전

저는 흥미로운 문제에 직면했습니다. Keycloak에 사용자를 등록하기 위해 매일 약 50,000개의 SQS 이벤트를 처리합니다. 순진한 접근 방식은 각 메시지에 대해 새로운 고루틴을 생성할 수 있지만 이로 인해 리소스가 빠르게 고갈될 수 있습니다. 동시성에 대해 보다 통제된 접근 방식이 필요했습니다.

왜 팬아웃/팬인인가?

팬아웃/팬인 패턴은 다음과 같은 이유로 이 사용 사례에 적합합니다.

  • 고정된 작업자 고루틴 풀을 유지합니다
  • 직원들에게 업무를 균등하게 분배합니다
  • 자원 고갈 방지
  • 동시 작업에 대한 더 나은 제어 제공

구현 심층 분석

1. 소비자 구조

먼저 기본 소비자 구조를 살펴보겠습니다.

type Consumer struct {
    Client    *sqs.Client
    QueueName string
}

2. 메시지 처리 파이프라인

구현은 세 가지 주요 구성요소로 구성됩니다.

  1. 메시지 수신자: 새 메시지에 대해 지속적으로 SQS를 폴링합니다
  2. 작업자 풀: 메시지를 처리하는 고정된 수의 고루틴
  3. 메시지 채널: 수신자를 작업자와 연결

소비자를 시작하는 방법은 다음과 같습니다.

func StartPool[requestBody any](
    serviceFunc func(c context.Context, dto *requestBody) error,
    consumer *Consumer) {

    ctx := context.Background()
    params := &sqs.ReceiveMessageInput{
        MaxNumberOfMessages: 10,
        QueueUrl:           aws.String(consumer.QueueName),
        WaitTimeSeconds:    20,
        VisibilityTimeout:  30,
        MessageAttributeNames: []string{
            string(types.QueueAttributeNameAll),
        },
    }

    msgCh := make(chan types.Message)
    var wg sync.WaitGroup

    // Start worker pool first
    startPool(ctx, msgCh, &wg, consumer, serviceFunc)

    // Then start receiving messages
    // ... rest of the implementation
}

3. 주요 구성 매개변수

중요한 SQS 구성 매개변수를 살펴보겠습니다.

  • MaxNumberOfMessages (10): 각 설문조사의 배치 크기
  • WaitTimeSeconds (20): 긴 폴링 기간
  • VisibilityTimeout (30): 메시지 처리 유예 기간

4. 작업자 풀 구현

작업자 풀은 팬아웃 패턴이 작용하는 곳입니다.

func startPool[requestBody any](
    ctx context.Context,
    msgCh chan types.Message,
    wg *sync.WaitGroup,
    consumer *Consumer,
    serviceFunc func(c context.Context, dto *requestBody) error) {

    processingMessages := &sync.Map{}

    // Start 10 workers
    for i := 0; i 



<h3>
  
  
  5. 중복 메시지 처리
</h3>

<p>중복 메시지 처리를 방지하기 위해 sync.Map을 사용합니다.<br>
</p><pre class="brush:php;toolbar:false">type Consumer struct {
    Client    *sqs.Client
    QueueName string
}

모범 사례 및 학습

  1. 오류 처리: 항상 오류를 적절하게 처리하고 적절하게 기록합니다
  2. 메시지 정리: 성공적으로 처리된 후에만 메시지를 삭제합니다
  3. 우아한 종료: 컨텍스트를 사용하여 적절한 종료 메커니즘 구현
  4. 모니터링: 관찰 가능성을 위해 주요 지점에 로깅 추가

성능 고려 사항

  • 작업자 수: 작업량과 사용 가능한 리소스를 기준으로 선택하세요
  • 배치 크기: 처리량과 처리 시간 간의 균형
  • 가시성 시간 초과: 평균 처리 시간에 따라 설정

향후 개선 사항

  1. 동적 작업자 확장: 대기열 깊이에 따라 작업자 수 조정
  2. 회로 차단기: 다운스트림 서비스에 대한 회로 차단기 추가
  3. 메트릭 컬렉션: 모니터링을 위한 Prometheus 메트릭 추가
  4. 배달 못한 편지 대기열: 실패한 메시지에 대한 DLQ 처리 구현
  5. 재시도: 일시적인 오류에 대한 지수 백오프 추가

결론

팬아웃/팬인 패턴은 Go에서 대용량 SQS 메시지를 처리하기 위한 우아한 솔루션을 제공합니다. 고정된 작업자 풀을 유지함으로써 효율적인 메시지 처리를 보장하는 동시에 무제한 고루틴 생성의 함정을 피합니다.

이러한 패턴을 구현할 때는 항상 구체적인 사용 사례를 고려해야 한다는 점을 기억하세요. 여기에 표시된 구성 값(작업자 수, 제한 시간 값 등)은 요구 사항 및 리소스 제약 조건에 따라 조정되어야 합니다.


소스 코드: [사용 가능한 경우 저장소 링크]

태그: #golang #aws #sqs #concurrency #분산 시스템

위 내용은 Go에서 확장 가능한 SQS 소비자 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
GO의 인터페이스 및 다형성 : 코드 재사용 성 달성GO의 인터페이스 및 다형성 : 코드 재사용 성 달성Apr 29, 2025 am 12:31 AM

InterfacesandPolymorphismingoEnhancecodereusabilitableandabledaysainability.

GO에서 'Init'기능의 역할은 무엇입니까?GO에서 'Init'기능의 역할은 무엇입니까?Apr 29, 2025 am 12:28 AM

theinitfunctionorunsautomically weconitializepackages 및 seteptheenvironment.ituplopgortingupglobalvariables, andperformingone-timesetupstasksacrossanypackage

GO의 인터페이스 구성 : 복잡한 추상화 구축GO의 인터페이스 구성 : 복잡한 추상화 구축Apr 29, 2025 am 12:24 AM

인터페이스 조합은 기능을 작고 집중된 인터페이스로 분류하여 GO 프로그래밍에서 복잡한 추상화를 구축합니다. 1) 독자, 작가 및 더 가까운 인터페이스를 정의하십시오. 2) 이러한 인터페이스를 결합하여 파일 및 네트워크 스트림과 같은 복잡한 유형을 만듭니다. 3) ProcessData 함수를 사용하여 이러한 결합 된 인터페이스를 처리하는 방법을 보여줍니다. 이 접근법은 코드 유연성, 테스트 가능성 및 재사용 성을 향상 시키지만 과도한 조각화 및 조합 복잡성을 피하기 위해주의를 기울여야합니다.

GO에서 시작 함수를 사용할 때 잠재적 인 함정 및 고려 사항GO에서 시작 함수를 사용할 때 잠재적 인 함정 및 고려 사항Apr 29, 2025 am 12:02 AM

inittectionsingoareautomaticallyCalledBeforeMainForeChalledBectOnforTeForTupButcomewithChalleds

GO에서지도를 어떻게 반복합니까?GO에서지도를 어떻게 반복합니까?Apr 28, 2025 pm 05:15 PM

기사는 이동 중에지도를 통한 반복, 안전한 관행, 항목 수정 및 대규모지도에 대한 성능 고려 사항에 중점을 둡니다.

Go에서지도를 어떻게 만드나요?Go에서지도를 어떻게 만드나요?Apr 28, 2025 pm 05:14 PM

이 기사에서는 초기화 방법 및 요소 추가/업데이트를 포함하여 GO의 맵 작성 및 조작에 대해 설명합니다.

배열과 슬라이스의 차이점은 무엇입니까?배열과 슬라이스의 차이점은 무엇입니까?Apr 28, 2025 pm 05:13 PM

이 기사에서는 크기, 메모리 할당, 기능 통과 및 사용 시나리오에 중점을 둔 배열과 슬라이스의 차이점에 대해 설명합니다. 배열은 고정 크기, 스택-할당되며 슬라이스는 역동적이며 종종 힙 할당되며 유연합니다.

Go에서 슬라이스를 어떻게 만드나요?Go에서 슬라이스를 어떻게 만드나요?Apr 28, 2025 pm 05:12 PM

이 기사에서는 리터럴 사용, Make Function, 기존 배열 또는 슬라이스를 포함하여 GO에서 슬라이스를 작성하고 초기화하는 것에 대해 설명합니다. 또한 슬라이스 구문과 슬라이스 길이와 용량을 결정합니다.

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

SecList

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전