Étapes détaillées pour installer Kafka sur CentOS7

Introduction

Kafka est un système de messagerie de publication-abonnement distribué à haut débit qui peut remplacer les files d'attente de messages traditionnelles pour le découplage du traitement des données, la mise en cache des messages non traités, etc. Il a également un débit plus élevé et prend en charge le partitionnement, les copies multiples et la redondance, il est donc largement utilisé. utilisé dans les applications de traitement de données de messages à grande échelle

Kafka prend en charge Java et plusieurs autres langages clients et peut être utilisé avec Hadoop, Storm, Spark et d'autres outils Big Data.

Ce tutoriel présente principalement l'installation et l'utilisation de Kafka sur Centos 7, y compris la vérification fonctionnelle et la configuration simple du cluster.

Installer JDK

Kafka utilise Zookeeper pour enregistrer les informations de configuration pertinentes. Kafka et Zookeeper s'appuient sur l'environnement d'exploitation Java. Téléchargez le package d'installation du JDK sur le site Web d'Oracle, décompressez et installez :

.

$tar zxvf jdk-8u65-linux-x64.tar.gz
$mv jdk1.8.0_65 java

Définir les variables d'environnement Java :

JAVA_HOME=/opt/java
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH

Vous pouvez également choisir yum install pour installer et définir les variables d'environnement en conséquence.

Installer Kafka

Téléchargez le package d'installation de Kafka depuis le site officiel, décompressez et installez : Adresse du site officiel : https://www.php.cn/link/dcf531edc9b229acfe0f4b87e1e278dd

tar zxvf kafka_2.11-0.8.2.2.tgz
mv kafka_2.11-0.8.2.2 kafka
cd kafka

Vérification des fonctions

1. Démarrez Zookeeper Utilisez le script contenu dans le package d'installation pour démarrer une instance Zookeeper à nœud unique :

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2. Démarrez le service Kafka. Utilisez kafka-server-start.sh pour démarrer le service kafka :

bin/kafka-server-start.sh config/server.properties

3. Créer un sujet Utilisez kafka-topics.sh pour créer un sujet de test avec une seule partition et une seule copie :

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Voir le sujet :

bin/kafka-topics.sh --list --zookeeper localhost:2181
test

4. Générez des messages. Utilisez kafka-console-producer.sh pour envoyer des messages :

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Hello world！

5. Consommer des messages Utilisez kafka-console-consumer.sh pour recevoir des messages et les imprimer sur le terminal :

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

Les messages générés par le producteur et les messages consommés par le consommateur sont synchronisés.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!