Kafka 도구의 기본 작업을 배우기 위한 필수 가이드

Kafka 도구 기본 조작 튜토리얼

소개

Apache Kafka는 대용량 데이터를 실시간으로 처리할 수 있는 분산 스트림 처리 플랫폼입니다. 높은 처리량, 낮은 대기 시간 및 내결함성 등의 특성을 가지며 로그 수집, 데이터 분석, 기계 학습 등의 분야에서 널리 사용됩니다.

설치

Kafka 설치는 매우 간단합니다. 작동 방법은 공식 문서를 참조하세요. 일반적으로 Kafka 설치 패키지를 다운로드한 다음 압축을 풀고 시작하기만 하면 됩니다.

기본 개념

Kafka를 사용하기 전에 몇 가지 기본 개념을 이해해야 합니다.

• 주제: 주제는 Kafka의 데이터를 논리적으로 그룹화한 것으로 데이터베이스의 테이블과 유사합니다.
• 파티션: 파티션은 Topic의 물리적 파티션이며, 각 파티션은 독립적인 저장 장치입니다.
• Producer: Producer는 Topic에 데이터를 보내는 클라이언트입니다.
• Consumer: Consumer는 Topic으로부터 데이터를 받는 클라이언트입니다.
• 브로커: 브로커는 Kafka 클러스터의 서버로 데이터 저장 및 처리를 담당합니다.

기본 작업

Create Topic

bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 2

위 명령은 "test"라는 주제를 생성합니다. 여기에는 3개의 파티션이 있고 각 파티션에는 2개의 복사본이 있습니다.

Send data to Topic

bin/kafka-console-producer.sh --topic test

위의 명령은 보내려는 데이터를 입력하고 Enter를 눌러 보낼 수 있는 콘솔을 엽니다.

Receive data from Topic

bin/kafka-console-consumer.sh --topic test --from-beginning

위 명령은 콘솔을 열고 Topic에서 받은 데이터를 볼 수 있습니다.

고급 작업

생산자 속성 설정

bin/kafka-producer-perf-test.sh --topic test --num-records 100000 --record-size 100 --producer-props acks=all batch.size=16384 buffer.memory=33554432 key.serializer=org.apache.kafka.common.serialization.StringSerializer value.serializer=org.apache.kafka.common.serialization.StringSerializer

위 명령은 생산자를 생성하고 확인 메커니즘, 배치 크기, 버퍼 크기 등을 포함한 일부 속성을 설정합니다.

소비자 속성 설정

bin/kafka-consumer-perf-test.sh --topic test --num-consumers 1 --messages-per-consumer 100000 --consumer-props group.id=test auto.offset.reset=earliest enable.auto.commit=false key.deserializer=org.apache.kafka.common.serialization.StringDeserializer value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

위 명령은 소비자를 생성하고 그룹 ID, 자동 오프셋 재설정 정책 및 자동 제출 메커니즘을 포함한 일부 속성을 설정합니다.

Fault Handling

Kafka는 오류를 자동으로 처리할 수 있는 고가용성 시스템입니다. 브로커가 실패하면 Kafka는 자동으로 데이터를 다른 브로커에 복사합니다. 생산자 또는 소비자가 실패하면 Kafka는 자동으로 데이터를 다시 보내거나 다시 받습니다.

요약

Kafka는 강력하고 사용하기 쉬운 스트림 처리 플랫폼입니다. 높은 처리량, 낮은 대기 시간 및 내결함성 등의 특성을 가지며 로그 수집, 데이터 분석, 기계 학습 등의 분야에서 널리 사용됩니다. 이 기사에서는 Kafka의 기본 개념, 기본 작업 및 고급 작업을 소개합니다.

위 내용은 Kafka 도구의 기본 작업을 배우기 위한 필수 가이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!