Heka配置的詳細介紹

這個linux教程將為您說明Heka配置講解,具體操作過程:

基於Heka，ElasticSearch和Kibana的分散式後端日誌架構

目前主流的後端日誌都採用的標準的elk模式（Elasticsearch，Logstash，Kinaba），分別負責日誌存儲，收集和日誌視覺化。

不過介於我們的日誌檔案多樣，分佈在各個不同的伺服器，各種不同的日誌，為了日後方便二次開發客製化。所以採用了Mozilla仿照Logstash使用golang開源實作的Heka。

基於Heka，ElasticSearch和Kibana的分散式後端日誌架構

目前主流的後端日誌都採用的標準的elk模式（Elasticsearch，Logstash，Kinaba），分別負責日誌存儲，收集和日誌可視化。

不過介於我們的日誌檔案多樣，分佈在各個不同的伺服器，各種不同的日誌，為了日後方便二次開發客製化。所以採用了Mozilla仿照Logstash使用golang開源實作的Heka。

整體架構圖

採用Heka，ElasticSearch與Kibana後的整體架構如下圖

Heka篇

簡介

Heka對日誌的處理流程為輸入分割解碼過濾編碼輸出。單一Heka服務內部的資料流了透過Heka定義的Message資料模型在各個模組內進行流轉。

heka內建了常用的大多數模組插件，例如

• 輸入插件有Logstreamer Input可以將日誌檔案作為輸入來源，

• 解碼插件Nginx Access Log Decoder可以將nginx存取日誌解碼為標準的鍵值對資料交給後邊的模組插件進行處理。

得益於輸入輸出的靈活配置，可以將分散各地的Heka收集到的日誌資料加工後統一輸出到日誌中心的Heka進行統一編碼後交給ElasticSearch儲存。

以上是Heka配置的詳細介紹的詳細內容。更多資訊請關注PHP中文網其他相關文章！