GitHub Actions 및 JavaScript를 사용하여 Kafka 주제 생성 및 삭제를 자동화하는 방법

Kafka 주제 생성 및 삭제를 자동화하는 것은 이벤트 중심 아키텍처를 사용하는 개발자에게 매우 중요합니다. 성장하는 시스템을 처리하든 코드형 인프라를 구현하든 관계없이 Kafka 배포 규모가 커짐에 따라 수동 관리는 실용적이지 않게 됩니다. 이 가이드에서는 JavaScript 및 GitHub Actions를 사용하여 이 프로세스를 자동화하고 DevOps 워크플로에 원활하게 통합하는 방법을 보여줍니다.

수동 Kafka 주제 관리의 과제

Kafka 주제는 이벤트 조직의 기본입니다. 아키텍처가 확장됨에 따라 다음과 같은 다양한 주제가 필요하게 됩니다.

• 다양한 이벤트 유형 분류
• 필터링된 이벤트 하위 집합 저장
• 변형된 이벤트 버전 유지

시스템이 성장함에 따라 수동 주제 관리가 복잡해지고 오류가 발생하기 쉽습니다. 각각의 새로운 서비스에는 새로운 주제가 필요할 수 있으며, 각 환경(개발, 준비, 프로덕션)에는 일관되게 구성된 자체 세트가 필요합니다. 자동화가 없으면 이러한 수동 오버헤드로 인해 개발 속도가 느려지고 구성 오류가 늘어납니다.

주제 관리 자동화의 이점

Kafka 주제 생성 및 삭제 자동화는 다음과 같은 상당한 이점을 제공합니다.

1. 모든 환경에서 일관된 주제 구성.
2. 주제 관리 시 인적 오류가 감소했습니다.
3. 주제 구성에 대한 버전 관리.
4. 간소화된 DevOps 워크플로.
5. 주제 변경 사항을 CI/CD 파이프라인에 통합합니다.

올바른 도구 선택

이 튜토리얼은 자동화 솔루션으로 JavaScript를 활용합니다. 다른 언어도 가능하지만 JavaScript는 다음과 같은 이점을 제공합니다.

• Bash보다 스크립트가 더 간단합니다.
• 기존 팀의 JavaScript 전문 지식을 활용합니다.
• npm을 통한 풍부한 패키지 생태계
• Kafka 작업을 위한 비동기/대기 구문을 정리합니다.

이 솔루션은 Kubernetes 작업으로 실행되는 Node.js 애플리케이션으로 구현되며, VPC 액세스 가능 Kafka 클러스터를 사용하는 팀에 이상적입니다.

애플리케이션 설정

Node.js 프로젝트가 필요합니다. npm init -y을 사용하여 하나를 만듭니다. Node.js와 npm이 설치되어 있지 않은 경우 https://www.php.cn/link/0d78f6439e652fdbf801d103430d2e12

에서 다운로드하세요.

프로젝트 디렉토리에서 npm install kafkajs을 실행하여 Kafka JavaScript 클라이언트를 설치하세요.

솔루션 구현

우리의 자동화는 세 가지 핵심 구성 요소로 구성됩니다.

1. 생성하거나 삭제할 주제를 지정하는 JSON 구성 파일입니다.
2. Kafka와 상호작용하여 이러한 작업을 수행하는 Node.js 애플리케이션입니다.
3. JSON 구성 파일 변경 시 자동화를 트리거하는 GitHub Actions 워크플로

각 구성 요소를 만들어 보겠습니다.

구성 파일 설정

애플리케이션은 생성하거나 삭제할 주제가 나열된 JSON 파일을 읽습니다. 이를 통해 GitHub 풀 요청을 통해 버전 제어 변경이 가능해집니다. PR을 병합한 후 코드는 업데이트된 파일을 읽고 그에 따라 주제를 생성/삭제합니다.

만들기 topics.json:

{
  "create": [],
  "delete": []
}

이 구조는 주제 관리 작업에 대한 버전 제어 기록을 제공합니다. create 배열에는 생성할 주제가 나열되고, delete에는 제거할 주제가 나열됩니다.

주제 관리 API 구축

만들기 api.js:

async function createTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.createTopics({
      topics: topics.map((topic) => ({
        topic,
        numPartitions: 1,        // Adjust as needed
        replicationFactor: 3,    // Adjust as needed
        configEntries: [
          { name: "min.insync.replicas", value: "2" }  // Adjust as needed
        ],
      })),
    });
  }
}

async function deleteTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.deleteTopics({ topics: topics });
  }
}

module.exports = { createTopics, deleteTopics };

이 모듈은 Kafka 주제를 생성하고 삭제하는 기능을 내보냅니다. 필요에 따라 구성 값(파티션, 복제 인자, min.insync.replicas)을 조정하세요.

메인 애플리케이션 생성

만들기 index.js:

const { Kafka } = require("kafkajs");
const { createTopics, deleteTopics } = require("./api");
const topics = require("../topics.json");

// ... (Kafka connection details using environment variables) ...

const kafka = new Kafka({
  // ... (Kafka connection configuration) ...
});

const admin = kafka.admin();

admin.connect().then(async () => {
  const existingTopics = await admin.listTopics();

  // Create only non-existent topics
  const newTopics = topics.create.filter((x) => !existingTopics.includes(x));
  await createTopics(newTopics, admin);

  // Delete only existing topics
  const deletionTopics = topics.delete.filter((x) => existingTopics.includes(x));
  await deleteTopics(deletionTopics, admin);

  await admin.disconnect();
});

이 애플리케이션은 Kafka 연결을 처리하고, 주제 구성을 읽고, 주제 생성/삭제를 조정합니다. 중복 작업에 대한 보호 장치가 포함되어 있으며 깔끔한 연결 처리를 보장합니다.

GitHub Actions로 배포 자동화

GitHub Actions를 사용하여 주제 관리 애플리케이션을 CI/CD 파이프라인에 통합합니다. 이는 주제 구성이 변경될 때마다 실행을 자동화합니다.

추가 .github/workflows/kafka.yml:

# ... (GitHub Actions workflow YAML configuration -  This section needs significant adaptation for a real-world scenario and would require setting up AWS credentials, ECR, and Kubernetes cluster details. The provided example is incomplete and illustrative only.) ...

이 워크플로는 빌드, 컨테이너화(Docker 사용), 컨테이너 레지스트리(예: Amazon ECR)로 푸시, 작업으로 Kubernetes에 배포를 자동화합니다.

결론

이 가이드에서는 JavaScript 및 GitHub Actions를 사용하여 Kafka 주제 생성 및 삭제를 자동화하는 방법을 보여줍니다. JSON 구성 파일과 GitHub Actions를 사용하는 이 접근 방식은 시스템이 성장함에 따라 Kafka 주제를 관리하기 위한 확장 가능한 솔루션을 제공합니다. 주제 관리를 CI/CD 파이프라인에 통합하면 Kafka 배포 전체에서 일관되고 안정적인 주제 구성이 보장됩니다. 이를 통해 수동 주제 관리가 최신 DevOps 방식에 맞춰 간소화되고 자동화된 프로세스로 전환됩니다. 제공된 코드는 특정 요구 사항에 대한 사용자 정의 및 조정을 위한 기반 역할을 합니다.

위 내용은 GitHub Actions 및 JavaScript를 사용하여 Kafka 주제 생성 및 삭제를 자동화하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!