cari
Rumahpembangunan bahagian belakangGolangMembina Pengguna SQS Berskala dalam Go

Building a Scalable SQS Consumer in Go

pengenalan

Apabila membina sistem teragih, baris gilir mesej seperti Amazon SQS memainkan peranan penting dalam mengendalikan beban kerja tak segerak. Dalam siaran ini, saya akan berkongsi pengalaman saya melaksanakan pengguna SQS yang mantap dalam Go yang mengendalikan acara pendaftaran pengguna untuk Keycloak. Penyelesaiannya menggunakan corak serentak kipas keluar/masuk untuk memproses mesej dengan cekap tanpa sumber sistem yang melampau.

Cabaran

Saya menghadapi masalah yang menarik: memproses sekitar 50,000 acara SQS setiap hari untuk mendaftarkan pengguna dalam Keycloak. Pendekatan naif mungkin menghasilkan goroutine baharu untuk setiap mesej, tetapi ini boleh menyebabkan kehabisan sumber dengan cepat. Kami memerlukan pendekatan yang lebih terkawal untuk keselarasan.

Kenapa Fan-out/Fan-in?

Corak kipas-keluar/kipas-masuk sesuai untuk bekas penggunaan ini kerana ia:

  • Mengekalkan kumpulan goroutin pekerja tetap
  • Mengedarkan kerja secara sama rata kepada pekerja
  • Menghalang keletihan sumber
  • Memberi kawalan yang lebih baik ke atas operasi serentak

Pelaksanaan Deep Dive

1. Struktur Pengguna

Pertama, mari kita lihat struktur asas pengguna kami:

type Consumer struct {
    Client    *sqs.Client
    QueueName string
}

2. Saluran Paip Pemprosesan Mesej

Pelaksanaan terdiri daripada tiga komponen utama:

  1. Penerima Mesej: Tinjauan SQS secara berterusan untuk mesej baharu
  2. Kolam Pekerja: Tetapkan bilangan goroutine yang memproses mesej
  3. Saluran Mesej: Menghubungkan penerima kepada pekerja

Begini cara kami memulakan pengguna:

func StartPool[requestBody any](
    serviceFunc func(c context.Context, dto *requestBody) error,
    consumer *Consumer) {

    ctx := context.Background()
    params := &sqs.ReceiveMessageInput{
        MaxNumberOfMessages: 10,
        QueueUrl:           aws.String(consumer.QueueName),
        WaitTimeSeconds:    20,
        VisibilityTimeout:  30,
        MessageAttributeNames: []string{
            string(types.QueueAttributeNameAll),
        },
    }

    msgCh := make(chan types.Message)
    var wg sync.WaitGroup

    // Start worker pool first
    startPool(ctx, msgCh, &wg, consumer, serviceFunc)

    // Then start receiving messages
    // ... rest of the implementation
}

3. Parameter Konfigurasi Utama

Mari kita periksa parameter konfigurasi SQS yang penting:

  • MaxNumberOfMessages (10): Saiz kelompok untuk setiap tinjauan pendapat
  • WaitTimeSecons (20): Tempoh pengundian yang panjang
  • Tamat Masa Keterlihatan (30): Tempoh tangguh untuk pemprosesan mesej

4. Pelaksanaan Kolam Pekerja

Kolam pekerja ialah tempat corak kipas keluar:

func startPool[requestBody any](
    ctx context.Context,
    msgCh chan types.Message,
    wg *sync.WaitGroup,
    consumer *Consumer,
    serviceFunc func(c context.Context, dto *requestBody) error) {

    processingMessages := &sync.Map{}

    // Start 10 workers
    for i := 0; i 



<h3>
  
  
  5. Pengendalian Mesej Pendua
</h3>

<p>Kami menggunakan penyegerakan.Peta untuk menghalang pemprosesan mesej pendua:<br>
</p><pre class="brush:php;toolbar:false">type Consumer struct {
    Client    *sqs.Client
    QueueName string
}

Amalan dan Pembelajaran Terbaik

  1. Pengendalian Ralat: Sentiasa kendalikan ralat dengan baik dan logkannya dengan sewajarnya
  2. Pembersihan Mesej: Padamkan mesej hanya selepas berjaya diproses
  3. Penutupan Anggun: Laksanakan mekanisme penutupan yang betul menggunakan konteks
  4. Pemantauan: Tambahkan pengelogan pada titik penting untuk pemerhatian

Pertimbangan Prestasi

  • Kiraan Pekerja: Pilih berdasarkan beban kerja anda dan sumber yang tersedia
  • Saiz Kelompok: Keseimbangan antara pemprosesan dan masa pemprosesan
  • Tamat Masa Keterlihatan: Tetapkan mengikut purata masa pemprosesan anda

Penambahbaikan Masa Depan

  1. Penskalaan Pekerja Dinamik: Laraskan kiraan pekerja berdasarkan kedalaman baris gilir
  2. Pemutus Litar: Tambah pemutus litar untuk perkhidmatan hiliran
  3. Koleksi Metrik: Tambahkan metrik Prometheus untuk pemantauan
  4. Baris Gilir Surat Mati: Laksanakan pengendalian DLQ untuk mesej yang gagal
  5. Cuba semula: Tambahkan mundur eksponen untuk kegagalan sementara

Kesimpulan

Corak kipas keluar/masuk memberikan penyelesaian yang elegan untuk memproses mesej SQS volum tinggi dalam Go. Dengan mengekalkan kumpulan pekerja tetap, kami mengelakkan perangkap penciptaan goroutine tanpa had sambil memastikan pemprosesan mesej yang cekap.

Ingat untuk sentiasa mempertimbangkan kes penggunaan khusus anda apabila melaksanakan corak sedemikian. Nilai konfigurasi yang ditunjukkan di sini (kiraan pekerja, nilai tamat masa, dll.) hendaklah dilaraskan berdasarkan keperluan dan kekangan sumber anda.


Kod sumber: [Pautan ke repositori anda jika tersedia]

Tag: #golang #aws #sqs #concurrency #distributed-systems

Atas ialah kandungan terperinci Membina Pengguna SQS Berskala dalam Go. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Antara muka dan polimorfisme di GO: Mencapai kebolehgunaan semula kodAntara muka dan polimorfisme di GO: Mencapai kebolehgunaan semula kodApr 29, 2025 am 12:31 AM

Interfacesandpolymorphismingoenhancecodereusabilityandmaintainability.1) DefineInterfacesatTheRightAbstractionLevel.2) UseInterfacesforddendencyInjection.3) ProfileCodeTanageperperformanceImpacts.

Apakah peranan fungsi 'init' dalam GO?Apakah peranan fungsi 'init' dalam GO?Apr 29, 2025 am 12:28 AM

TheinitfunctioningorunsautomaticallybeforethemainfunctiontoinitialializePackagesandsetuptheenvironment.it'susforforsettingupglobalvariables, sumber, danperformingone-timesetuptasksacrossanypackage

Komposisi antara muka di GO: Membina abstraksi kompleksKomposisi antara muka di GO: Membina abstraksi kompleksApr 29, 2025 am 12:24 AM

Kombinasi antara muka membina abstraksi kompleks dalam pengaturcaraan GO dengan memecahkan fungsi ke dalam antara muka kecil yang terfokus. 1) Tentukan pembaca, penulis dan antara muka yang lebih dekat. 2) Buat jenis kompleks seperti fail dan rangkaian dengan menggabungkan antara muka ini. 3) Gunakan fungsi ProcessData untuk menunjukkan cara mengendalikan antara muka gabungan ini. Pendekatan ini meningkatkan fleksibiliti kod, kesesuaian, dan kebolehgunaan semula, tetapi penjagaan harus diambil untuk mengelakkan pemecahan yang berlebihan dan kerumitan gabungan.

Bagaimana anda melangkah melalui peta dalam perjalanan?Bagaimana anda melangkah melalui peta dalam perjalanan?Apr 28, 2025 pm 05:15 PM

Artikel membincangkan melewati peta di GO, memberi tumpuan kepada amalan selamat, memodifikasi penyertaan, dan pertimbangan prestasi untuk peta besar. Masalah: Memastikan lelaran peta yang selamat dan cekap di GO, terutamanya dalam persekitaran serentak dan dengan L

Bagaimana anda membuat peta di Go?Bagaimana anda membuat peta di Go?Apr 28, 2025 pm 05:14 PM

Artikel ini membincangkan membuat dan memanipulasi peta di GO, termasuk kaedah permulaan dan menambah/mengemas kini elemen.

Apakah perbezaan antara array dan kepingan di Go?Apakah perbezaan antara array dan kepingan di Go?Apr 28, 2025 pm 05:13 PM

Artikel ini membincangkan perbezaan antara tatasusunan dan kepingan dalam GO, memberi tumpuan kepada saiz, peruntukan memori, lulus fungsi, dan senario penggunaan. Array adalah saiz tetap, diperuntukkan stack, manakala kepingan adalah dinamik, sering ditumpukan, dan lebih fleksibel.

Bagaimana anda membuat kepingan dalam perjalanan?Bagaimana anda membuat kepingan dalam perjalanan?Apr 28, 2025 pm 05:12 PM

Artikel ini membincangkan membuat dan memulakan irisan di GO, termasuk menggunakan literals, fungsi membuat, dan mengiris tatasusunan atau kepingan yang ada. Ia juga meliputi sintaks kepingan dan menentukan panjang dan kapasiti kepingan.

Bagaimana anda membuat array dalam perjalanan?Bagaimana anda membuat array dalam perjalanan?Apr 28, 2025 pm 05:11 PM

Artikel ini menerangkan cara membuat dan memulakan array di GO, membincangkan perbezaan antara tatasusunan dan kepingan, dan menangani had saiz maksimum untuk tatasusunan. Arrays vs. Slices: Tetap vs dinamik, nilai vs jenis rujukan.

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

mPDF

mPDF

mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),

Pelayar Peperiksaan Selamat

Pelayar Peperiksaan Selamat

Pelayar Peperiksaan Selamat ialah persekitaran pelayar selamat untuk mengambil peperiksaan dalam talian dengan selamat. Perisian ini menukar mana-mana komputer menjadi stesen kerja yang selamat. Ia mengawal akses kepada mana-mana utiliti dan menghalang pelajar daripada menggunakan sumber yang tidak dibenarkan.

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

SecLists

SecLists

SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Integrasikan Eclipse dengan pelayan aplikasi SAP NetWeaver.