Nginx怎麼整合Kafka

背景

nginx-kafka-module是nginx的插件，可以將kafka整合到nginx中，便於web專案中前端頁埋點資料的收集，如前端頁面設定了埋點，即可將用戶的一些存取和請求資料透過http請求直接傳送到訊息中間件kafka中，後端可以透過程式消費kafka中的消息來進行即時的計算。例如透過sparkstream來即時的消費kafka中的資料來分析使用者pv,uv、使用者的一些行為及頁面的漏斗模型轉換率，來更好的對系統進行最佳化或對來訪使用者進行即時動態的分析。

具體整合步驟

1.安裝git

yum install -y git

2.切換到/usr/local/src目錄，然後將kafka的c客戶端原始碼clone到本地

cd /usr/local/src
git clone https://github.com/edenhill/librdkafka

3.進入到librdkafka，然後進行編譯

cd librdkafka
yum install -y gcc gcc-c++ pcre-devel zlib-devel
./configure
make && make install

4.安裝nginx整合kafka的插件，進入/usr/local/src，clone nginx整合kafka的原始碼

cd /usr/local/src
git clone https://github.com/brg-liuwei/ngx_kafka_module

5.進入nginx的原始碼包目錄下（編譯nginx，然後將插件同時編譯）

cd /usr/local/src/nginx-1.12.2
./configure --add-module=/usr/local/src/ngx_kafka_module/
make && make install

6.修改nginx的設定檔：設定一個location和kafaka的topic

#添加配置(2处)
kafka;
kafka_broker_list f1:9092 f2:9092 f3:9092;

location = /kafka/access {
kafka_topic access888;
}

如下圖：

##7.啟動zk和kafka叢集(建立topic)

zkserver.sh start
kafka-server-start.sh -daemon config/server.properties

8.啟動nginx，報錯，找不到kafka.so.1的檔案

error while loading shared libraries: librdkafka.so.1: cannot open shared object file: no such file or directory

9.載入so函式庫

##

#开机加载/usr/local/lib下面的库
echo "/usr/local/lib" >> /etc/ld.so.conf
#手动加载
ldconfig

10.測試，向nginx中寫入數據，然後觀察kafka的消費者能不能消費到數據

curl http://localhost/kafka/access -d "message send to kafka topic"
curl http://localhost/kafka/access -d "小伟666"测试

也可以模擬頁面埋點請求接口來發送信息：

後台kafka消費資訊如圖：

以上是Nginx怎麼整合Kafka的詳細內容。更多資訊請關注PHP中文網其他相關文章！