Panduan penting untuk mempelajari operasi asas alatan Kafka

Tutorial operasi asas alat Kafka

Pengenalan

Apache Kafka ialah platform pemprosesan strim teragih yang boleh memproses sejumlah besar data dalam masa nyata. Ia mempunyai ciri daya pemprosesan tinggi, kependaman rendah dan toleransi kesalahan, dan digunakan secara meluas dalam bidang seperti pengumpulan log, analisis data dan pembelajaran mesin.

Pemasangan

Pemasangan Kafka sangat mudah, anda boleh rujuk dokumentasi rasmi untuk operasi. Secara umumnya, anda hanya perlu memuat turun pakej pemasangan Kafka, kemudian nyahzip dan mulakannya.

Konsep asas

Sebelum menggunakan Kafka, anda perlu memahami beberapa konsep asas:

• Topik: Topik ialah himpunan logik data dalam Kafka, serupa dengan jadual dalam pangkalan data.
• Partition: Partition ialah partition fizikal Topic, dan setiap Partition ialah unit storan bebas.
• Pengeluar: Pengeluar ialah pelanggan yang menghantar data ke Topik.
• Pengguna: Pengguna ialah pelanggan yang menerima data daripada Topik.
• Broker: Broker ialah pelayan dalam kelompok Kafka, bertanggungjawab untuk menyimpan dan memproses data.

Operasi asas

Buat Topik

bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 2

Arahan di atas akan mencipta Topik bernama "test", yang mempunyai 3 Partition dan setiap Partition mempunyai 2 salinan.

Hantar data ke Topik

bin/kafka-console-producer.sh --topic test

Arahan di atas akan membuka konsol di mana anda boleh memasukkan data yang ingin anda hantar dan tekan Enter untuk menghantar.

Terima data daripada Topic

bin/kafka-console-consumer.sh --topic test --from-beginning

Arahan di atas akan membuka konsol dan anda boleh melihat data yang diterima daripada Topic.

Operasi lanjutan

Tetapkan sifat pengeluar

bin/kafka-producer-perf-test.sh --topic test --num-records 100000 --record-size 100 --producer-props acks=all batch.size=16384 buffer.memory=33554432 key.serializer=org.apache.kafka.common.serialization.StringSerializer value.serializer=org.apache.kafka.common.serialization.StringSerializer

Arahan di atas akan mencipta Pengeluar dan menetapkan beberapa sifat, termasuk mekanisme pengesahan, saiz kelompok dan saiz penimbal, dsb.

Tetapkan sifat pengguna

bin/kafka-consumer-perf-test.sh --topic test --num-consumers 1 --messages-per-consumer 100000 --consumer-props group.id=test auto.offset.reset=earliest enable.auto.commit=false key.deserializer=org.apache.kafka.common.serialization.StringDeserializer value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

Arahan di atas akan mencipta Pengguna dan menetapkan beberapa sifat, termasuk ID kumpulan, dasar tetapan semula offset automatik dan mekanisme penyerahan automatik.

Pengendalian Kesalahan

Kafka ialah sistem ketersediaan tinggi yang boleh mengendalikan kegagalan secara automatik. Apabila Broker gagal, Kafka akan menyalin data secara automatik ke Broker lain. Apabila Pengeluar atau Pengguna gagal, Kafka akan menghantar semula atau menerima semula data secara automatik.

Ringkasan

Kafka ialah platform pemprosesan strim yang berkuasa dan mudah digunakan. Ia mempunyai ciri daya pemprosesan tinggi, kependaman rendah dan toleransi kesalahan, dan digunakan secara meluas dalam bidang seperti pengumpulan log, analisis data dan pembelajaran mesin. Artikel ini memperkenalkan konsep asas, operasi asas dan operasi lanjutan Kafka saya harap ia akan membantu anda.

Atas ialah kandungan terperinci Panduan penting untuk mempelajari operasi asas alatan Kafka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!