PHP와 Apache Kafka를 사용하여 실시간 스트림 처리를 구현하는 방법

Apache Kafka는 처리량이 높고 대기 시간이 짧은 분산 게시/구독 메시징 시스템입니다. 고주파, 대용량 데이터 스트림을 처리하기 위해 실시간 스트림 처리 시스템의 아키텍처에 널리 사용됩니다. 이 기사에서는 PHP와 Apache Kafka를 사용하여 실시간 스트림 처리를 구현하는 방법을 소개합니다.

1. Apache Kafka 설치

Apache Kafka를 사용하기 전에 먼저 Apache Kafka를 설치해야 합니다. 공식 웹사이트에서 Apache Kafka를 다운로드하여 설치하거나 일부 오픈 소스 설치 스크립트를 사용할 수 있습니다. 여기서는 Apache Kafka에서 제공하는 바이너리 버전을 사용하겠습니다.

2. Kafka 생산자 생성

다음으로 Kafka 클러스터에 데이터를 푸시하기 위한 Kafka 생산자를 생성하겠습니다. PHP에서는 이를 달성하기 위해 kafka-php 확장을 사용할 수 있습니다.

먼저 kafka-php 확장을 다운로드하고 컴파일해야 합니다. 자세한 설치 지침은 kafka-php의 GitHub 페이지에서 확인할 수 있습니다. 설치가 완료되면 PHP 코드에서 kafka-php 확장을 사용할 수 있습니다.

다음은 Kafka 생산자를 생성하고 주제에 메시지를 보내는 방법을 보여주는 예입니다.

<?php
require_once('KafkaProducer.php');

$producer = new KafkaProducer('localhost:9092');
$producer->send([
    [
        'topic' => 'example-topic',
        'value' => 'Hello, Kafka!',
        'key' => 'key1'
    ]
]);
?>

위 코드에서는 먼저 KafkaProducer 개체를 생성하고 Kafka 클러스터의 주소를 지정합니다. 그런 다음 send 메소드를 통해 해당 주제(example-topic)에 메시지를 보냈습니다.

전송된 메시지는 메시지의 제목, 내용, 키를 포함하는 배열입니다. Kafka 클러스터가 동일한 키를 가진 메시지를 동일한 파티션에 배포할 수 있도록 키를 사용하여 메시지를 그룹화할 수 있습니다.

3. Kafka 소비자 만들기

다음으로 Kafka 클러스터의 데이터를 소비하기 위한 Kafka 소비자를 만듭니다. 마찬가지로 PHP에서는 kafka-php 확장을 사용하여 이를 달성할 수 있습니다.

<?php
require_once('KafkaConsumer.php');

$consumer = new KafkaConsumer('localhost:9092', 'example-group', ['example-topic']);
$consumer->consume(function($message) {
    echo $message->payload . "
";
});
?>

위 코드에서는 먼저 Kafka 클러스터의 주소, 소비자 그룹 이름, 사용할 주제를 지정하여 KafkaConsumer 개체를 생성합니다. 그런 다음 Consumer 메소드를 통해 데이터 소비를 시작합니다.

consumer 메서드는 Kafka 클러스터에서 받은 메시지를 처리하기 위한 매개 변수로 콜백 함수를 허용합니다. 콜백 함수에서 메시지 내용(페이로드)에 액세스할 수 있습니다.

Kafka 소비자를 생성할 때 소비자 그룹의 이름을 지정했습니다. 소비자 그룹은 Kafka의 핵심 개념이며 메시지를 파티션에 배포하는 데 사용됩니다. 동일한 소비자 그룹 이름을 가진 소비자는 동일한 주제를 함께 소비하고 Kafka는 자동으로 이들 사이에 메시지를 배포합니다. 소비자 그룹의 목적은 각 메시지가 한 번만 소비되도록 하는 것입니다.

4. 실시간 스트림 처리

이제 위의 두 가지 예를 결합하여 실시간 스트림 처리를 달성할 수 있습니다. Kafka 생산자를 생성하고 주기적으로 해당 주제에 메시지를 보낼 수 있습니다. 그런 다음 콜백 함수의 주제에서 수신된 메시지를 처리하는 Kafka 소비자를 만들 수 있습니다.

다음은 실시간 스트림 처리를 보여주는 예입니다.

<?php
require_once('KafkaProducer.php');
require_once('KafkaConsumer.php');

$producer = new KafkaProducer('localhost:9092');
$consumer = new KafkaConsumer('localhost:9092', 'example-group', ['example-topic']);

while (true) {
    $producer->send([
        [
            'topic' => 'example-topic',
            'value' => rand(0, 10),
            'key' => 'key1'
        ]
    ]);

    $consumer->consume(function($message) {
        $value = $message->payload;
        echo "Received $value
";
    });

    sleep(1);
}
?>

위 코드에서는 먼저 Kafka 생산자와 Kafka 소비자를 만듭니다. 그런 다음 주기적으로 주제에 난수를 보내고 주제의 메시지를 소비하는 루프를 시작합니다. 소비자 콜백 함수에서는 수신된 값을 콘솔에 인쇄합니다.

여기서 시연하는 것은 간단한 실시간 스트림 처리 프로세스입니다. 실제로 실시간 스트림 처리 시스템은 더 복잡할 수 있고, 생산자와 소비자가 여러 명일 수 있으며, 주제와 파티션이 여러 개 있을 수 있습니다. 그러나 어떤 경우에도 PHP와 Apache Kafka를 사용하면 실시간 스트림 처리 시스템을 쉽게 구축하고 고주파, 대용량 데이터 스트림을 처리할 수 있습니다.

위 내용은 PHP와 Apache Kafka를 사용하여 실시간 스트림 처리를 구현하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!