Go에서 메시지 큐를 어떻게 사용하나요?
- PHPz원래의
- 2023-05-11 15:46:541683검색
메시지 큐는 높은 동시성 및 비동기식 작업 처리를 처리하는 데 매우 중요한 역할을 하는 일반적인 시스템 아키텍처 패턴입니다. Go 언어에서는 일부 오픈 소스 메시지 대기열 라이브러리 및 도구를 통해 메시지 대기열 사용이 매우 편리하고 간단해졌습니다.
이 문서에서는 다음을 포함하여 Go에서 메시지 대기열을 사용하는 방법을 소개합니다.
- 메시지 대기열 이해
- 일반적인 메시지 대기열
- Go에서 메시지 대기열을 사용할 때의 장점 및 적용 가능한 시나리오
- In Go 언어 메시지 대기열 library
- 는 Go에서 메시지 큐를 사용하는 방법을 예시를 통해 보여줍니다
메시지 큐 이해하기
메시지 큐는 큐를 사용하여 메시지를 캐시하고, 비동기적으로 전송하고 저장하는 아키텍처 패턴입니다. 메시지 대기열은 일반적으로 생산자, 소비자 및 대기열의 세 부분으로 나뉩니다. 생산자는 메시지를 큐로 보내고 소비자는 처리를 위해 큐에서 메시지를 가져옵니다. 메시지 대기열의 목적은 생산자와 소비자 간의 시간 및 공간 종속성을 분리하고 비동기 작업 처리를 구현하는 것입니다.
메시지 큐는 데이터 캐시, 비동기 처리 구현, 피크 로드 감소(단시간에 높은 동시 요청 처리) 및 로드 밸런싱 등을 구현할 수 있습니다. 대규모 분산 시스템 설계를 지원하는 중요한 부분입니다. .
공통 메시지 대기열
다양한 프로그래밍 언어를 지원하는 많은 메시지 대기열 라이브러리와 도구가 시중에 나와 있습니다. 가장 일반적인 것 중에는 다음이 있습니다.
- RabbitMQ: RabbitMQ는 다양한 프로그래밍 언어를 지원하는 오픈 소스 메시지 대기열 시스템입니다. AMQP, STOMP, MQTT 등의 프로토콜과 프로그래밍 언어, 개발자는 Go, Java, Python 등 다양한 언어 클라이언트를 통해 액세스할 수 있습니다. RabbitMQ는 Erlang 언어로 작성되었으며 IoT, 그룹 채팅, 모니터링과 같은 실시간 처리 시나리오를 지원하는 데 널리 사용됩니다.
- Apache Kafka: Apache Kafka는 게시/구독 모델을 기반으로 하는 메시지 대기열 시스템으로 LinkedIn에서 개발되었으며 주로 지속적인 스트리밍 데이터 처리를 처리하는 데 사용됩니다. Kafka는 높은 처리량과 높은 확장성을 지원하기 위해 여러 파티션을 통해 메시지를 분산합니다.
- ActiveMQ: ActiveMQ는 AMQP, STOMP, Openwire 등과 같은 다중 전송 프로토콜 및 프로그래밍 언어 액세스를 지원하는 널리 사용되는 JMS 기반 메시지 대기열 시스템입니다.
- NSQ: NSQ는 nsq와 nsqd의 두 가지 구성 요소로 구성된 실시간 분산 메시지 처리 플랫폼입니다. nsq는 클라이언트 상호 작용을 위한 TCP 프록시 서버이고 nsqd는 영구 메시지 및 대기열을 위한 서비스입니다.
Go에서 메시지 대기열을 사용할 때의 장점과 적용 가능한 시나리오
Go 언어는 기본적으로 코루틴을 지원하므로 메시지 대기열을 사용하여 비동기 작업을 처리하는 것이 특히 적합합니다. Go 언어는 상대적으로 사용하기 편리한 메시지 대기열용 오픈 소스 라이브러리와 도구를 많이 제공합니다.
또한 메시지 대기열은 메시지를 비동기식으로 처리하므로 작업을 오프로드하여 단일 시스템에서 높은 동시성을 피할 수 있습니다. 따라서 메시지 대기열은 다음과 같은 시나리오에서 사용될 수 있습니다.
- 대규모 데이터 처리: 대용량 서버 데이터의 웹사이트 로그 처리, 스트레스 테스트 등
- 비동기 처리 및 작업 배포: 이메일 전송, SMS 알림 등
- 분산 작업 대기열: 0개의 대기열, 백로그 대기열 등
- 다중 소비자 동시성 시나리오: 전자 상거래 플래시 판매, 높은 동시성 리뷰 등; 분리 및 확장: 외부 메시지 서비스 알림 통합 및 시스템 상호 작용 간 데이터 분리 등.
- Go 언어의 메시지 대기열 라이브러리
Go 언어에는 다음과 같은 다양한 오픈 소스 메시지 대기열 라이브러리를 사용할 수 있습니다.
RabbitMQ의 AMQP 클라이언트 라이브러리: https://github.com/streadway/amqp ;- Apache Kafka 클라이언트 라이브러리: https://github.com/confluentinc/confluent-kafka-go;
- NSQ 클라이언트 라이브러리: https://github.com/nsqio/go-nsq.
- 이러한 오픈 소스 라이브러리를 사용하면 다양한 메시지 대기열 시스템에 쉽게 연결할 수 있으므로 개발자는 비즈니스 라인의 논리 개발에 더 집중할 수 있어 개발 효율성과 코드 가독성이 향상됩니다.
Go에서 메시지 큐를 사용하는 방법을 예제를 통해 보여줍니다.
아래에서는 간단한 예제를 통해 Go에서 메시지 큐를 사용하는 방법을 보여줍니다.
일부 웹사이트에서 이미지 데이터를 크롤링하여 로컬에 저장한다고 가정해 보겠습니다. go를 사용하여 이 프로그램을 완료할 수 있습니다. 일부 사진의 비동기 다운로드를 구현하기 위해 RabbitMQ를 메시지 대기열로 사용하고 Go에서 다음 단계를 완료합니다.
Install RabbitMQ
RabbitMQ 설치, 공식 웹사이트 다운로드 주소: https://www.rabbitmq.com/ download.html ;- RabbitMQ를 구성합니다. 설치 후 bin 디렉터리에 들어가서(Windows가 아닌 플랫폼의 경우 .bat 접미사를 무시하세요) 다음을 실행합니다. ./rabbitmqctl start to start RabbitMQ;
- MQ 가상 호스트를 생성하고 다음을 실행합니다. ./rabbitmqctl add_vhost test;
- 사용자 추가 및 권한 할당, 실행: ./rabbitmqctl add_user test test, ./rabbitmqctl set_permissions -p test test ". " ".
- " ".*" RabbitMQ 웹 시작 관리 인터페이스에서 다음을 실행합니다. /rabbitmq-plugins가 Rabbitmq_management를 활성화하고 브라우저에 주소 http://localhost:15672를 입력하여 관리 인터페이스로 들어갑니다.
- 코드 작성
github.com/streadway/amqp 라이브러리를 사용하여 RabbitMQ와의 상호 작용을 구현할 수 있습니다. 아래는 코드입니다.
먼저 다운로드해야 하는 이미지 주소를 크롤링하고 RabbitMQ로 보내는 크롤러 코드를 작성하세요.
func main() {
spider()
}
func spider() {
url := "https://www.example.com"
doc, _ := goquery.NewDocument(url)
doc.Find(".img_wrapper img").Each(func(i int, s *goquery.Selection) {
imgUrl, _ := s.Attr("src")
publishToMQ(imgUrl)
})
}
func publishToMQ(msg string) {
conn, err := amqp.Dial("amqp://test:test@localhost:5672/test")
failOnError(err, "Failed to connect to RabbitMQ")
defer conn.Close()
ch, err := conn.Channel()
failOnError(err, "Failed to open a channel")
defer ch.Close()
q, err := ch.QueueDeclare(
"image_downloader", // name
true, // durable
false, // delete when unused
false, // exclusive
false, // no-wait
nil, // arguments
)
failOnError(err, "Failed to declare a queue")
err = ch.Publish(
"", // exchange
q.Name, // routing key
false, // mandatory
false, // immediate
amqp.Publishing{
ContentType: "text/plain",
Body: []byte(msg),
})
failOnError(err, "Failed to publish a message")
log.Printf(" [x] Sent %s", msg)
}그런 다음 이미지 다운로더를 작성하세요. RabbitMQ의 메시지 대기열을 수신하면 비동기 이미지 다운로드가 이루어집니다.
func main() {
consumeMQ()
}
func consumeMQ() {
conn, err := amqp.Dial("amqp://test:test@localhost:5672/test")
failOnError(err, "Failed to connect to RabbitMQ")
defer conn.Close()
ch, err := conn.Channel()
failOnError(err, "Failed to open a channel")
defer ch.Close()
q, err := ch.QueueDeclare(
"image_downloader", // name
true, // durable
false, // delete when unused
false, // exclusive
false, // no-wait
nil, // arguments
)
failOnError(err, "Failed to declare a queue")
msgs, err := ch.Consume(
q.Name, // queue
"", // consumer
true, // auto-ack
false, // exclusive
false, // no-local
false, // no-wait
nil, // args
)
failOnError(err, "Failed to register a consumer")
forever := make(chan bool)
go func() {
for d := range msgs {
log.Printf("Received a message: %s", d.Body)
downloadImage(string(d.Body))
}
}()
log.Printf(" [*] Waiting for messages. To exit press CTRL+C")
<-forever
}
func downloadImage(url string) {
resp, err := http.Get(url)
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close()
file, err := os.Create(uuid.New().String() + ".jpg")
if err != nil {
log.Fatal(err)
}
defer file.Close()
_, err = io.Copy(file, resp.Body)
if err != nil {
log.Fatal(err)
}
log.Printf("Downloaded an image: %s", url)
}위 코드에서는 생산자가 html 페이지의 이미지 주소를 구문 분석한 후 작업 대기열 "image-downloader"를 생성했습니다. 작업 대기열에. 소비자는 작업 대기열을 수신하고 메시지를 받은 후 downloadImage 함수를 호출하여 이미지 파일을 다운로드합니다.
위 예시는 RabbitMQ를 사용한 간단한 사용 사례입니다. 다른 메시지 대기열 라이브러리를 사용하는 것도 비슷합니다. 단지 다른 API를 통해 연결과 작업을 구현하면 됩니다.
개요
이 기사에서는 대량의 데이터 처리 시나리오에서 비동기 소비가 필수적이라는 것을 소개하고 설명합니다. Go 언어는 자체 코루틴 메커니즘으로 인해 비동기 작업 처리를 간단하고 효율적으로 만듭니다. Go 언어 자체의 풍부한 오픈 소스 라이브러리와 결합하면 메시지 대기열을 사용하여 비동기 메시지 처리를 구현하는 것이 매우 쉬워집니다.
위의 예를 통해 비동기 작업 처리를 구현할 때 메시지 큐를 사용하면 처리 효율성이 크게 향상될 수 있으며 Go 언어에서 메시지 큐를 사용하는 것도 매우 편리하다는 것을 알 수 있습니다. 프로젝트에서는 RabbitMQ 또는 Apache Kafka와 같은 오픈 소스 메시지 큐 라이브러리를 사용하는 것이 좋습니다.
위 내용은 Go에서 메시지 큐를 어떻게 사용하나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!