Bagaimana untuk mengintegrasikan Kafka dengan Nginx

Latar Belakang

nginx-kafka-module ialah pemalam nginx, yang boleh menyepadukan kafka ke dalam nginx untuk memudahkan pengumpulan data titik terkubur halaman hadapan dalam projek web Contohnya, jika halaman hadapan telah menetapkan titik terkubur, iaitu Beberapa akses dan data permintaan pengguna boleh dihantar terus ke kafka perisian tengah mesej melalui permintaan http Bahagian belakang boleh menggunakan mesej dalam kafka melalui program untuk melakukan pengiraan masa nyata. Sebagai contoh, aliran percikan digunakan untuk menggunakan data dalam Kafka dalam masa nyata untuk menganalisis pv pengguna, uv, beberapa gelagat pengguna dan kadar penukaran model corong halaman, supaya dapat mengoptimumkan sistem dengan lebih baik atau menjalankan analisis dinamik masa nyata lawatan. pengguna.

Langkah penyepaduan khusus

1. Pasang git

yum install -y git

2. Tukar ke direktori /usr/local/src, dan kemudian klon kod sumber klien kafka Pergi ke

cd /usr/local/src
git clone https://github.com/edenhill/librdkafka

3. Pergi ke librdkafka, dan kemudian susun

cd librdkafka
yum install -y gcc gcc-c++ pcre-devel zlib-devel
./configure
make && make install

4. Pasang pemalam nginx yang menyepadukan kafka, pergi ke /usr/local/. src, klon nginx menyepadukan kod sumber kafka

cd /usr/local/src
git clone https://github.com/brg-liuwei/ngx_kafka_module

5 Masukkan direktori pakej sumber nginx (kompil nginx, dan kemudian susun pemalam pada masa yang sama)

cd /usr/local/src/nginx-1.12.2
./configure --add-module=/usr/local/src/ngx_kafka_module/
make && make install

<.>6. Ubah suai fail Konfigurasi nginx: Tetapkan lokasi dan topik kafaka

#添加配置(2处)
kafka;
kafka_broker_list f1:9092 f2:9092 f3:9092;

location = /kafka/access {
kafka_topic access888;
}

seperti ditunjukkan di bawah:

7. Mulakan kluster zk dan kafka (buat topik)

zkserver.sh start
kafka-server-start.sh -daemon config/server.properties

8 Mulakan nginx dan laporkan ralat kafka.so.1 tidak ditemui

ralat semasa memuatkan perpustakaan kongsi: librdkafka.so.1: tidak boleh membuka fail objek kongsi: tiada fail atau direktori sedemikian

9 >

#开机加载/usr/local/lib下面的库
echo "/usr/local/lib" >> /etc/ld.so.conf
#手动加载
ldconfig

10 Uji, tulis data ke nginx, dan kemudian perhatikan sama ada pengguna Kafka boleh menggunakan data

curl http://localhost/kafka/access -d "message send to kafka topic"
curl http://localhost/kafka/access -d "小伟666"测试

Anda juga boleh mensimulasikan antara muka permintaan terkubur untuk menghantar maklumat:

Maklumat penggunaan kafka latar belakang adalah seperti yang ditunjukkan dalam rajah:

Atas ialah kandungan terperinci Bagaimana untuk mengintegrasikan Kafka dengan Nginx. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!