Comment implémenter le traitement de flux en temps réel à l'aide de PHP et Apache Kafka

Apache Kafka est un système de messagerie de publication/abonnement distribué à haut débit et à faible latence. Il est largement utilisé dans l’architecture des systèmes de traitement de flux en temps réel pour traiter des flux de données haute fréquence et de grande capacité. Cet article explique comment utiliser PHP et Apache Kafka pour implémenter le traitement de flux en temps réel.

1. Installer Apache Kafka

Avant de commencer à utiliser Apache Kafka, nous devons d'abord l'installer. Vous pouvez télécharger et installer Apache Kafka à partir du site officiel ou utiliser des scripts d'installation open source. Ici, nous utiliserons la version binaire fournie par Apache Kafka.

2. Créer un producteur Kafka

Ensuite, nous allons créer un producteur Kafka pour transmettre les données au cluster Kafka. En PHP, nous pouvons utiliser l'extension kafka-php pour y parvenir.

Tout d’abord, nous devons télécharger et compiler l’extension kafka-php. Des instructions d'installation détaillées peuvent être trouvées sur la page GitHub de kafka-php. Une fois l'installation terminée, nous pouvons utiliser l'extension kafka-php dans notre code PHP.

Ce qui suit est un exemple qui montre comment créer un producteur Kafka et envoyer des messages à un sujet :

<?php
require_once('KafkaProducer.php');

$producer = new KafkaProducer('localhost:9092');
$producer->send([
    [
        'topic' => 'example-topic',
        'value' => 'Hello, Kafka!',
        'key' => 'key1'
    ]
]);
?>

Dans le code ci-dessus, nous créons d'abord un objet KafkaProducer et spécifions l'adresse du cluster Kafka. Ensuite, nous avons envoyé un message au sujet (exemple-sujet) via la méthode d'envoi.

Le message envoyé est un tableau qui contient le sujet, le contenu et la clé du message. Les clés peuvent être utilisées pour regrouper les messages afin que le cluster Kafka puisse distribuer les messages avec la même clé dans la même partition.

3. Créer un consommateur Kafka

Ensuite, nous allons créer un consommateur Kafka pour consommer les données du cluster Kafka. De même, en PHP, nous pouvons utiliser l'extension kafka-php pour y parvenir.

<?php
require_once('KafkaConsumer.php');

$consumer = new KafkaConsumer('localhost:9092', 'example-group', ['example-topic']);
$consumer->consume(function($message) {
    echo $message->payload . "
";
});
?>

Dans le code ci-dessus, nous créons d'abord un objet KafkaConsumer, spécifiant l'adresse du cluster Kafka, le nom du groupe de consommateurs et le sujet à consommer. Ensuite, nous commençons à consommer des données via la méthode de consommation.

La méthode consume accepte une fonction de rappel comme paramètre pour traiter les messages reçus du cluster Kafka. Dans la fonction de rappel, nous pouvons accéder au contenu du message (payload).

Notez que nous avons précisé le nom du groupe de consommateurs lors de la création du consommateur Kafka. Les groupes de consommateurs sont un concept clé dans Kafka et sont utilisés pour distribuer des messages en partitions. Les consommateurs portant le même nom de groupe de consommateurs consommeront le même sujet ensemble et Kafka distribuera automatiquement les messages entre eux. Le but du groupe de consommateurs est de garantir que chaque message n'est consommé qu'une seule fois.

4. Traitement de flux en temps réel

Maintenant, nous pouvons combiner les deux exemples ci-dessus pour obtenir un traitement de flux en temps réel. Nous pouvons créer un producteur Kafka et envoyer périodiquement des messages sur le sujet. Nous pouvons ensuite créer un consommateur Kafka qui gère les messages reçus du sujet dans une fonction de rappel.

Voici un exemple illustrant le traitement de flux en temps réel :

<?php
require_once('KafkaProducer.php');
require_once('KafkaConsumer.php');

$producer = new KafkaProducer('localhost:9092');
$consumer = new KafkaConsumer('localhost:9092', 'example-group', ['example-topic']);

while (true) {
    $producer->send([
        [
            'topic' => 'example-topic',
            'value' => rand(0, 10),
            'key' => 'key1'
        ]
    ]);

    $consumer->consume(function($message) {
        $value = $message->payload;
        echo "Received $value
";
    });

    sleep(1);
}
?>

Dans le code ci-dessus, nous créons d'abord un producteur Kafka et un consommateur Kafka. Nous entrons ensuite dans une boucle qui envoie périodiquement un nombre aléatoire au sujet et consomme les messages du sujet. Dans la fonction de rappel du consommateur, nous imprimons la valeur reçue sur la console.

Ce qui est démontré ici est un processus simple de traitement de flux en temps réel. En réalité, les systèmes de traitement de flux en temps réel peuvent être plus complexes, avoir plusieurs producteurs et consommateurs et avoir plusieurs sujets et partitions. Mais dans tous les cas, l'utilisation de PHP et d'Apache Kafka permet de créer facilement un système de traitement de flux en temps réel et de traiter des flux de données à haute fréquence et de gros volumes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!