Cara Mengautomasikan Penciptaan dan Pemadaman Topik Kafka, Menggunakan Tindakan GitHub dan JavaScript

Mengautomasikan penciptaan dan pemadaman topik Kafka adalah penting untuk pembangun yang menggunakan seni bina dipacu peristiwa. Pengurusan manual menjadi tidak praktikal apabila skala penggunaan Kafka anda, sama ada anda berurusan dengan sistem yang semakin berkembang atau melaksanakan infrastruktur sebagai kod. Panduan ini menunjukkan mengautomasikan proses ini menggunakan JavaScript dan Tindakan GitHub, menyepadukannya dengan lancar ke dalam aliran kerja DevOps anda.

Cabaran Pengurusan Topik Kafka Manual

Topik Kafka adalah asas kepada penganjuran acara. Apabila seni bina anda berkembang, anda memerlukan pelbagai topik untuk:

• Mengkategorikan jenis acara yang berbeza
• Menyimpan subset acara yang ditapis
• Mengekalkan versi acara diubah

Pengurusan topik manual menjadi kompleks dan terdedah kepada ralat dengan pertumbuhan sistem. Setiap perkhidmatan baharu mungkin memerlukan topik baharu dan setiap persekitaran (pembangunan, pementasan, pengeluaran) memerlukan setnya sendiri yang dikonfigurasikan secara konsisten. Tanpa automasi, overhed manual ini melambatkan pembangunan dan meningkatkan ralat konfigurasi.

Faedah Mengautomasikan Pengurusan Topik

Mengautomasikan penciptaan dan pemadaman topik Kafka menawarkan kelebihan ketara:

1. Konfigurasi topik yang konsisten merentas semua persekitaran.
2. Mengurangkan kesilapan manusia dalam pengurusan topik.
3. Kawalan versi untuk konfigurasi topik.
4. Aliran kerja DevOps yang diperkemas.
5. Integrasi topik berubah ke dalam saluran paip CI/CD anda.

Memilih Alat yang Betul

Tutorial ini menggunakan JavaScript untuk penyelesaian automasinya. Walaupun bahasa lain boleh dilakukan, JavaScript menawarkan faedah:

• Skrip yang lebih mudah daripada Bash.
• Memanfaatkan kepakaran JavaScript pasukan sedia ada.
• Ekosistem pakej kaya melalui npm.
• Bersihkan sintaks async/tunggu untuk operasi Kafka.

Penyelesaian ini dilaksanakan sebagai aplikasi Node.js yang dijalankan sebagai Kerja Kubernetes, sesuai untuk pasukan yang menggunakan gugusan Kafka yang boleh diakses oleh VPC.

Menyediakan Aplikasi

Anda memerlukan projek Node.js. Buat satu menggunakan npm init -y. Jika Node.js dan npm tidak dipasang, muat turunnya daripada https://www.php.cn/link/0d78f6439e652fdbf801d103430d2e12.

Dalam direktori projek anda, jalankan npm install kafkajs untuk memasang klien JavaScript Kafka.

Melaksanakan Penyelesaian

Automasi kami terdiri daripada tiga komponen teras:

1. Fail konfigurasi JSON yang menyatakan topik untuk dibuat atau dipadamkan.
2. Aplikasi Node.js yang berinteraksi dengan Kafka untuk melaksanakan operasi ini.
3. Aliran kerja Tindakan GitHub yang mencetuskan automasi apabila fail konfigurasi JSON berubah.

Mari bina setiap komponen.

Persediaan Fail Konfigurasi

Aplikasi membaca topik penyenaraian fail JSON untuk dibuat atau dipadamkan. Ini membenarkan perubahan terkawal versi melalui permintaan tarik GitHub. Selepas menggabungkan PR, kod membaca fail yang dikemas kini dan mencipta/memadamkan topik dengan sewajarnya.

Buat topics.json:

{
  "create": [],
  "delete": []
}

Struktur ini menyediakan rekod terkawal versi tindakan pengurusan topik. Tatasusunan create menyenaraikan topik untuk penciptaan, manakala delete menyenaraikan topik untuk dialih keluar.

Membina API Pengurusan Topik

Buat api.js:

async function createTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.createTopics({
      topics: topics.map((topic) => ({
        topic,
        numPartitions: 1,        // Adjust as needed
        replicationFactor: 3,    // Adjust as needed
        configEntries: [
          { name: "min.insync.replicas", value: "2" }  // Adjust as needed
        ],
      })),
    });
  }
}

async function deleteTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.deleteTopics({ topics: topics });
  }
}

module.exports = { createTopics, deleteTopics };

Modul ini mengeksport fungsi untuk mencipta dan memadam topik Kafka. Laraskan nilai konfigurasi (partition, faktor replikasi, min.insync.replicas) berdasarkan keperluan anda.

Membuat Aplikasi Utama

Buat index.js:

const { Kafka } = require("kafkajs");
const { createTopics, deleteTopics } = require("./api");
const topics = require("../topics.json");

// ... (Kafka connection details using environment variables) ...

const kafka = new Kafka({
  // ... (Kafka connection configuration) ...
});

const admin = kafka.admin();

admin.connect().then(async () => {
  const existingTopics = await admin.listTopics();

  // Create only non-existent topics
  const newTopics = topics.create.filter((x) => !existingTopics.includes(x));
  await createTopics(newTopics, admin);

  // Delete only existing topics
  const deletionTopics = topics.delete.filter((x) => existingTopics.includes(x));
  await deleteTopics(deletionTopics, admin);

  await admin.disconnect();
});

Aplikasi ini mengendalikan sambungan Kafka, membaca konfigurasi topik dan mengatur penciptaan/pemadaman topik. Ia termasuk perlindungan terhadap operasi pendua dan memastikan pengendalian sambungan yang bersih.

Mengautomasikan Penerapan dengan Tindakan GitHub

Sepadukan aplikasi pengurusan topik ke dalam saluran paip CI/CD menggunakan Tindakan GitHub. Ini mengautomasikan pelaksanaan apabila konfigurasi topik berubah.

Tambah .github/workflows/kafka.yml:

# ... (GitHub Actions workflow YAML configuration -  This section needs significant adaptation for a real-world scenario and would require setting up AWS credentials, ECR, and Kubernetes cluster details. The provided example is incomplete and illustrative only.) ...

Aliran kerja ini mengautomasikan binaan, kontena (menggunakan Docker), menolak ke pendaftaran kontena (seperti Amazon ECR) dan penempatan ke Kubernetes sebagai Pekerjaan.

Kesimpulan

Panduan ini menunjukkan mengautomasikan penciptaan dan pemadaman topik Kafka menggunakan JavaScript dan Tindakan GitHub. Pendekatan ini, menggunakan fail konfigurasi JSON dan Tindakan GitHub, menyediakan penyelesaian berskala untuk mengurus topik Kafka semasa sistem anda berkembang. Mengintegrasikan pengurusan topik ke dalam saluran paip CI/CD anda memastikan konfigurasi topik yang konsisten dan boleh dipercayai merentas penggunaan Kafka anda. Ini mengubah pengurusan topik manual menjadi proses yang diperkemas dan automatik yang sejajar dengan amalan DevOps moden. Kod yang disediakan berfungsi sebagai asas untuk penyesuaian dan penyesuaian kepada keperluan khusus anda.

Atas ialah kandungan terperinci Cara Mengautomasikan Penciptaan dan Pemadaman Topik Kafka, Menggunakan Tindakan GitHub dan JavaScript. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!