Langkah terperinci untuk memasang Kafka pada CentOS7

Pengenalan

Kafka ialah sistem pemesejan terbitan-langganan edaran berkemampuan tinggi yang boleh menggantikan baris gilir mesej tradisional untuk menyahganding pemprosesan data, menyimpan cache mesej yang belum diproses, dsb. Ia juga mempunyai daya pemprosesan yang lebih tinggi dan menyokong pembahagian, berbilang salinan dan lebihan , jadi ia meluas digunakan dalam aplikasi pemprosesan data mesej berskala besar

Kafka menyokong Java dan berbilang pelanggan bahasa lain, dan boleh digunakan bersama dengan Hadoop, Storm, Spark dan alatan data besar yang lain.

Tutorial ini terutamanya memperkenalkan pemasangan dan penggunaan Kafka pada Centos 7, termasuk pengesahan berfungsi dan konfigurasi mudah kluster.

Pasang JDK

Kafka menggunakan Zookeeper untuk menyimpan maklumat konfigurasi yang berkaitan Kafka dan Zookeeper bergantung pada persekitaran operasi Java Muat turun pakej pemasangan JDK dari tapak web Oracle, nyahzip dan pasang:

$tar zxvf jdk-8u65-linux-x64.tar.gz
$mv jdk1.8.0_65 java

Tetapkan pembolehubah persekitaran Java:

JAVA_HOME=/opt/java
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH

Anda juga boleh memilih pemasangan yum untuk memasang dan menetapkan pembolehubah persekitaran dengan sewajarnya.

Pasang Kafka

Muat turun pakej pemasangan Kafka dari laman web rasmi, nyahzip dan pasang: Alamat laman web rasmi: https://www.php.cn/link/dcf531edc9b229acfe0f4b87e1e278dd

tar zxvf kafka_2.11-0.8.2.2.tgz
mv kafka_2.11-0.8.2.2 kafka
cd kafka

Pengesahan Fungsi

1 Mulakan Zookeeper Gunakan skrip dalam pakej pemasangan untuk memulakan satu nod Zookeeper:

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2. Mulakan perkhidmatan Kafka Gunakan kafka-server-start.sh untuk memulakan perkhidmatan kafka:

bin/kafka-server-start.sh config/server.properties

3 Cipta topik Gunakan kafka-topics.sh untuk mencipta ujian topik dengan satu partition dan satu salinan:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Lihat topik:

bin/kafka-topics.sh --list --zookeeper localhost:2181
test

4 Jana mesej Gunakan kafka-console-producer.sh untuk menghantar mesej:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Hello world！

5 Gunakan mesej Gunakan kafka-console-consumer.sh untuk menerima mesej dan mencetaknya pada terminal:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

Mesej yang dihasilkan oleh pengeluar dan mesej yang digunakan oleh pengguna disegerakkan.

Atas ialah kandungan terperinci Langkah terperinci untuk memasang Kafka pada CentOS7. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!