Bagaimana untuk menggunakan baris gilir mesej dalam Go?

Baris gilir mesej ialah corak seni bina sistem biasa, yang memainkan peranan yang sangat penting dalam mengendalikan konkurensi tinggi dan pemprosesan tugas tak segerak. Dalam bahasa Go, menggunakan baris gilir mesej telah menjadi sangat mudah dan mudah melalui beberapa perpustakaan dan alatan baris gilir mesej sumber terbuka.

Artikel ini akan memperkenalkan cara menggunakan baris gilir mesej dalam Go, termasuk yang berikut:

1. Memahami baris gilir mesej
2. Baris gilir mesej biasa
3. Kelebihan dan senario yang berkenaan menggunakan baris gilir mesej dalam Go
4. Pustaka baris gilir mesej dalam bahasa Go
5. Menggunakan contoh untuk menunjukkan cara menggunakan baris gilir mesej dalam Go

Fahami mesej baris gilir

Baris gilir mesej ialah corak seni bina yang menggunakan baris gilir untuk cache, menghantar dan menyimpan mesej secara tak segerak. Baris gilir mesej biasanya dibahagikan kepada tiga bahagian: pengeluar, pengguna dan baris gilir. Pengeluar menghantar mesej ke baris gilir, dan pengguna mengambil mesej dari baris gilir untuk diproses. Tujuan baris gilir mesej adalah untuk memisahkan kebergantungan masa dan ruang antara pengeluar dan pengguna dan melaksanakan pemprosesan tugas tak segerak.

Baris gilir mesej boleh cache data, melaksanakan pemprosesan tak segerak, pencukuran beban puncak (untuk menangani permintaan serentak yang tinggi dalam tempoh yang singkat) dan pengimbangan beban, dsb. Ia adalah bahagian penting untuk menyokong reka bentuk besar -sistem teragih berskala.

Baris gilir mesej biasa

Terdapat banyak perpustakaan baris gilir mesej dan alatan di pasaran yang menyokong pelbagai bahasa pengaturcaraan yang lebih biasa adalah yang berikut:

1. RabbitMQ. : RabbitMQ ialah sistem baris gilir mesej sumber terbuka yang menyokong berbilang protokol dan bahasa pengaturcaraan, seperti AMQP, STOMP, MQTT, dll. Pembangun boleh mengaksesnya melalui pelbagai klien bahasa, seperti Go, Java, Python, dsb. RabbitMQ ditulis dalam bahasa Erlang dan digunakan secara meluas untuk menyokong senario pemprosesan masa nyata seperti IoT, sembang kumpulan dan pemantauan.
2. Apache Kafka: Apache Kafka ialah sistem baris gilir mesej berdasarkan model terbitan/langgan, dibangunkan oleh LinkedIn, dan digunakan terutamanya untuk mengendalikan pemprosesan data penstriman berterusan. Kafka mengedarkan mesej melalui berbilang partition untuk menyokong daya pemprosesan yang tinggi dan kebolehskalaan yang tinggi.
3. ActiveMQ: ActiveMQ ialah sistem baris gilir mesej berasaskan JMS yang popular yang menyokong protokol penghantaran berbilang dan akses bahasa pengaturcaraan, seperti AMQP, STOMP, Openwire, dsb.
4. NSQ: NSQ ialah platform pemprosesan mesej teragih masa nyata, yang terdiri daripada dua komponen: nsq dan nsqd ialah pelayan proksi TCP untuk interaksi pelanggan, manakala nsqd ialah perkhidmatan untuk mesej dan baris gilir yang berterusan.

Kelebihan dan senario yang berkenaan menggunakan baris gilir mesej dalam Go

Bahasa Go menyokong coroutine secara asli, jadi menggunakan baris gilir mesej untuk mengendalikan tugas tak segerak adalah amat sesuai. Bahasa Go menyediakan banyak perpustakaan sumber terbuka dan alatan untuk baris gilir mesej, yang juga agak mudah digunakan.

Selain itu, kerana baris gilir mesej memproses mesej secara tidak segerak, tugasan boleh dipunggah untuk mengelakkan konkurensi tinggi pada satu mesin. Oleh itu, baris gilir mesej boleh digunakan dalam senario berikut:

1. Pemprosesan sejumlah besar data: seperti pemprosesan sejumlah besar data pelayan dalam log tapak web, ujian tekanan, dsb.;
2. Pemprosesan tak segerak dan pengagihan tugas: Seperti penghantaran e-mel, pemberitahuan SMS, dll.; senario serentak pengguna: seperti jualan kilat e-dagang, ulasan serentak tinggi, dsb.;
3. Penyahgandingan dan pengembangan aplikasi: seperti menyepadukan pemberitahuan perkhidmatan mesej luaran dan mengasingkan interaksi data antara sistem.
4. Pustaka baris gilir mesej dalam bahasa Go
5. Dalam bahasa Go, terdapat banyak perpustakaan baris gilir mesej sumber terbuka tersedia, seperti:

Pelanggan RabbitMQ AMQP perpustakaan: https://github.com/streadway/amqp;

Pustaka pelanggan Apache Kafka: https://github.com/confluentinc/confluent-kafka-go; : https://github.com/nsqio/go-nsq.

1. Menggunakan perpustakaan sumber terbuka ini boleh menyambung dengan mudah ke sistem baris gilir mesej yang berbeza, membolehkan pembangun menumpukan lebih pada pembangunan logik pada barisan perniagaan, meningkatkan kecekapan pembangunan dan kebolehbacaan kod.
2. Tunjukkan cara menggunakan baris gilir mesej dalam Go through contoh
3. Di bawah ini kami akan tunjukkan cara menggunakan baris gilir mesej dalam Go through contoh mudah.

Andaikan kita ingin merangkak data imej daripada sesetengah tapak web dan menyimpannya secara setempat. Kita boleh menggunakan go untuk melengkapkan program ini. Untuk mencapai muat turun tak segerak beberapa gambar, kami menggunakan RabbitMQ sebagai baris gilir mesej dan melengkapkan langkah berikut dalam Go:

Pasang RabbitMQ

Pasang RabbitMQ, alamat muat turun laman web rasmi: https://www.rabbitmq.com/download.html;

Konfigurasikan RabbitMQ Selepas pemasangan, masukkan direktori bin (sila abaikan akhiran .bat untuk platform bukan Windows) dan jalankan: ./rabbitmqctl start. untuk memulakan RabbitMQ;

Buat hos maya MQ dan jalankan: ./rabbitmqctl add_vhost test; p test test ".

" ".
1. " ".*";
2. Mulakan antara muka pengurusan web RabbitMQ, jalankan: ./rabbitmq-plugins enable rabbitmq_management, masukkan alamat http:// localhost:15672 dalam pelayar untuk memasuki antara muka Pengurusan.
3. Menulis kod
4. Kita boleh menggunakan perpustakaan github.com/streadway/amqp untuk berinteraksi dengan RabbitMQ. Di bawah ialah kod.
Mula-mula tulis kod perangkak untuk merangkak alamat imej yang perlu dimuat turun dan hantar ke RabbitMQ:

5. func main() {
       spider()
   }
   
   func spider() {
       url := "https://www.example.com"
       doc, _ := goquery.NewDocument(url)
       doc.Find(".img_wrapper img").Each(func(i int, s *goquery.Selection) {
           imgUrl, _ := s.Attr("src")
           publishToMQ(imgUrl)
       })
   }
   
   func publishToMQ(msg string) {
       conn, err := amqp.Dial("amqp://test:test@localhost:5672/test")
       failOnError(err, "Failed to connect to RabbitMQ")
       defer conn.Close()
   
       ch, err := conn.Channel()
       failOnError(err, "Failed to open a channel")
       defer ch.Close()
   
       q, err := ch.QueueDeclare(
           "image_downloader", // name
           true,               // durable
           false,              // delete when unused
           false,              // exclusive
           false,              // no-wait
           nil,                // arguments
       )
       failOnError(err, "Failed to declare a queue")
   
       err = ch.Publish(
           "",     // exchange
           q.Name, // routing key
           false,  // mandatory
           false,  // immediate
           amqp.Publishing{
               ContentType: "text/plain",
               Body:        []byte(msg),
           })
       failOnError(err, "Failed to publish a message")
   
       log.Printf(" [x] Sent %s", msg)
   }

   Kemudian tulis pemuat turun imej. Dengan mendengar baris gilir mesej RabbitMQ, muat turun imej tak segerak dicapai:

   func main() {
       consumeMQ()
   }
   
   func consumeMQ() {
       conn, err := amqp.Dial("amqp://test:test@localhost:5672/test")
       failOnError(err, "Failed to connect to RabbitMQ")
       defer conn.Close()
   
       ch, err := conn.Channel()
       failOnError(err, "Failed to open a channel")
       defer ch.Close()
   
       q, err := ch.QueueDeclare(
           "image_downloader", // name
           true,               // durable
           false,              // delete when unused
           false,              // exclusive
           false,              // no-wait
           nil,                // arguments
       )
       failOnError(err, "Failed to declare a queue")
   
       msgs, err := ch.Consume(
           q.Name, // queue
           "",     // consumer
           true,   // auto-ack
           false,  // exclusive
           false,  // no-local
           false,  // no-wait
           nil,    // args
       )
       failOnError(err, "Failed to register a consumer")
   
       forever := make(chan bool)
   
       go func() {
           for d := range msgs {
               log.Printf("Received a message: %s", d.Body)
               downloadImage(string(d.Body))
           }
       }()
   
       log.Printf(" [*] Waiting for messages. To exit press CTRL+C")
       <-forever
   }
   
   func downloadImage(url string) {
       resp, err := http.Get(url)
       if err != nil {
           log.Fatal(err)
       }
       defer resp.Body.Close()
   
       file, err := os.Create(uuid.New().String() + ".jpg")
       if err != nil {
           log.Fatal(err)
       }
       defer file.Close()
   
       _, err = io.Copy(file, resp.Body)
       if err != nil {
           log.Fatal(err)
       }
   
       log.Printf("Downloaded an image: %s", url)
   }

   Dalam kod di atas, kami mencipta baris gilir kerja "pemuat turun imej". ia menghantarnya ke baris gilir kerja. Pengguna akan mendengar baris gilir kerja, dan selepas menerima mesej, hubungi fungsi muat turunImej untuk memuat turun fail imej.

   Contoh di atas ialah kes penggunaan mudah menggunakan RabbitMQ. Menggunakan perpustakaan baris gilir mesej lain adalah serupa, anda hanya perlu melaksanakan sambungan dan operasi melalui API yang berbeza.

   Ikhtisar

   Dalam artikel ini kami memperkenalkan dan menerangkan maksud baris gilir mesej Dalam sejumlah besar senario pemprosesan data, penggunaan tak segerak adalah penting. Bahasa Go menjadikan pemprosesan tugas tak segerak mudah dan cekap kerana mekanisme coroutinenya sendiri. Ditambah dengan perpustakaan sumber terbuka yang kaya dengan bahasa Go itu sendiri, menjadi sangat mudah untuk menggunakan baris gilir mesej untuk melaksanakan pemprosesan mesej tak segerak.

   Melalui contoh di atas, kita dapat melihat bahawa apabila melaksanakan pemprosesan tugas asynchronous, menggunakan baris gilir mesej boleh meningkatkan kecekapan pemprosesan dengan sangat baik dan menggunakan baris gilir mesej dalam bahasa Go juga sangat mudah. Dalam projek, adalah disyorkan untuk menggunakan perpustakaan baris gilir mesej sumber terbuka, seperti RabbitMQ atau Apache Kafka.

Atas ialah kandungan terperinci Bagaimana untuk menggunakan baris gilir mesej dalam Go?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!