Detaillierte Schritte zur Installation von Kafka unter CentOS7

Einführung

Kafka ist ein verteiltes Publish-Subscribe-Messagingsystem mit hohem Durchsatz, das herkömmliche Nachrichtenwarteschlangen zur Entkopplung der Datenverarbeitung, zum Zwischenspeichern unverarbeiteter Nachrichten usw. ersetzen kann. Es verfügt außerdem über einen höheren Durchsatz und unterstützt Partitionierung, Mehrfachkopien und Redundanz Wird in umfangreichen Nachrichtendatenverarbeitungsanwendungen verwendet

Kafka unterstützt Java und mehrere andere Sprachclients und kann in Verbindung mit Hadoop, Storm, Spark und anderen Big-Data-Tools verwendet werden.

Dieses Tutorial führt hauptsächlich in die Installation und Verwendung von Kafka auf Centos 7 ein, einschließlich der Funktionsüberprüfung und der einfachen Konfiguration des Clusters.

JDK installieren

Kafka verwendet Zookeeper, um relevante Konfigurationsinformationen zu speichern. Laden Sie das JDK-Installationspaket von der Oracle-Website herunter, entpacken Sie es und installieren Sie es:

$tar zxvf jdk-8u65-linux-x64.tar.gz
$mv jdk1.8.0_65 java

Java-Umgebungsvariablen festlegen:

JAVA_HOME=/opt/java
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH

Sie können zur Installation auch „yum install“ auswählen und die Umgebungsvariablen entsprechend festlegen.

Installieren Sie Kafka

Laden Sie das Kafka-Installationspaket von der offiziellen Website herunter, entpacken Sie es und installieren Sie es: Offizielle Website-Adresse: https://www.php.cn/link/dcf531edc9b229acfe0f4b87e1e278dd

tar zxvf kafka_2.11-0.8.2.2.tgz
mv kafka_2.11-0.8.2.2 kafka
cd kafka

Funktionsüberprüfung

1. Starten Sie Zookeeper. Verwenden Sie das Skript im Installationspaket, um eine Zookeeper-Instanz mit einem Knoten zu starten:

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2. Starten Sie den Kafka-Dienst. Verwenden Sie kafka-server-start.sh, um den Kafka-Dienst zu starten

bin/kafka-server-start.sh config/server.properties

3. Thema erstellen Verwenden Sie kafka-topics.sh, um einen Thementest mit einer einzelnen Partition und einer einzelnen Kopie zu erstellen:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Thema anzeigen:

bin/kafka-topics.sh --list --zookeeper localhost:2181
test

4. Nachrichten generieren. Verwenden Sie kafka-console-producer.sh, um Nachrichten zu senden:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Hello world！

5. Nachrichten konsumieren Verwenden Sie kafka-console-consumer.sh, um Nachrichten zu empfangen und auf dem Terminal auszudrucken:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

Die vom Produzenten generierten Nachrichten und die vom Verbraucher konsumierten Nachrichten werden synchronisiert.

Das obige ist der detaillierte Inhalt vonDetaillierte Schritte zur Installation von Kafka unter CentOS7. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!