搜尋
首頁後端開發php教程分散式即時日誌分析解決方案 ELK 部署架構

分散式即時日誌分析解決方案 ELK 部署架構

May 05, 2018 pm 03:10 PM
分散式分析解決方案

ELK 已經成為目前最受歡迎的集中式日誌解決方案,它主要是由Beats、Logstash、Elasticsearch、Kibana等組件組成,來共同完成實時日誌的收集,存儲,展示等一站式的解決方案。本篇文章主要為大家介紹了關於分散式即時日誌分析解決方案ELK 部署架構,有需要的朋友可以看一下

課程推薦→:《 elasticsearch全文搜尋實戰》(實戰影片)

來自課程《千萬級資料並發解決方案(理論+實戰)》

一、概述

ELK 已經成為目前最受歡迎的集中式日誌解決方案,它主要是由Beats、Logstash、Elasticsearch、Kibana等組件組成,來共同完成實時日誌的收集,存儲,展示等一站式的解決方案。本文將會介紹ELK常見的架構以及相關問題解決。

  • Filebeat:Filebeat是一款輕量級,佔用服務資源非常少的資料收集引擎,它是ELK家族的新成員,可以取代Logstash作為在應用伺服器端的日誌收集引擎,支援將收集到的資料輸出到Kafka,Redis等隊列。

  • Logstash:資料收集引擎,相較於Filebeat比較重量級,但它整合了大量的插件,支援豐富的資料來源收集,對收集的資料可以過濾,分析,格式化日誌格式。

  • Elasticsearch:分散式資料搜尋引擎,基於Apache
      Lucene實現,可集群,提供資料的集中式存儲,分析,以及強大的資料搜尋和聚合功能。

  • Kibana:數據的視覺化平台,透過該web平台可以即時的查看 Elasticsearch 中的相關數據,並提供了豐富的圖表統計功能。

二、ELK常見部署架構

2.1、Logstash作為日誌收集器

這種架構是比較原始的部署架構,在各應用伺服器端分別部署一個Logstash組件,作為日誌收集器,然後將Logstash收集到的資料過濾、分析、格式化處理後發送至Elasticsearch存儲,最後使用Kibana進行可視化展示,這種架構不足的是:Logstash比較耗伺服器資源,所以會增加應用伺服器端的負載壓力。

分散式即時日誌分析解決方案 ELK 部署架構

2.2、Filebeat作為日誌收集器

該架構與第一種架構唯一不同的是:應用端日誌收集器換成了Filebeat,Filebeat輕量,佔用伺服器資源少,所以使用Filebeat作為應用伺服器端的日誌收集器,一般Filebeat會搭配Logstash一起使用,這種部署方式也是目前最常用的架構。

分散式即時日誌分析解決方案 ELK 部署架構

2.3、引入快取佇列的部署架構

該架構在第二種架構的基礎上引入了Kafka訊息佇列(還可以是其他訊息佇列),將Filebeat收集到的資料傳送至Kafka,然後在透過Logstasth讀取Kafka中的數據,這種架構主要是解決大數據量下的日誌收集方案,使用快取佇列主要是解決資料安全與均衡Logstash與Elasticsearch負載壓力。

分散式即時日誌分析解決方案 ELK 部署架構

2.4、以上三種架構的總結

第一種部署架構由於資源佔用問題,現已很少使用,目前使用最多的是第二種部署架構,至於第三種部署架構個人覺得沒有必要引入訊息佇列,除非有其他需求,因為在資料量較大的情況下,Filebeat 使用壓力敏感協定向Logstash 或Elasticsearch 發送資料。如果 Logstash 正在繁忙地處理數據,它會告知 Filebeat 減慢讀取速度。擁塞解決後,Filebeat 將恢復初始速度並繼續發送資料。

推薦一個交流學習群:478030634 裡面會分享一些資深架構師錄製的錄影:有Spring,MyBatis,Netty源碼分析,高並發、高性能、分散式、微服務架構的原理,JVM效能優化這些成為架構師必備的知識體系。還能領取免費的學習資源,目前受益良多:

分散式即時日誌分析解決方案 ELK 部署架構

三、問題及解決方案

問題:如何實現日誌的多行合併功能?

系統應用程式中的日誌一般都是以特定格式進行列印的,屬於同一日誌的資料可能分多行進行列印,那麼在使用ELK收集日誌的時候就需要將屬於同一日誌的多行數據進行合併。

解決方案:使用Filebeat或Logstash中的multiline多行合併外掛程式來實作

在使用multiline多行合併外掛程式的時候需要注意,不同的ELK部署架構可能multiline的使用方式也不同,如果是本文的第一種部署架構,那麼multiline需要在Logstash中配置使用,如果是第二種部署架構,那麼multiline需要在Filebeat中配置使用,無需再在Logstash中配置multiline。

1、Filebeat中multiline的設定方式:

分散式即時日誌分析解決方案 ELK 部署架構

  • pattern :正規表示式

  • negate:預設為false,表示符合pattern的行合併到上一行;true表示不符合pattern的行合併到上一行

  • #match:after表示合併到上一行的結尾,before表示合併到上一行的行首

如:

pattern: '['
negate: true
match: after

該配置表示將不符合pattern模式的行合併到上一行的結尾

2、multiline在Logstash中的配置方式

分散式即時日誌分析解決方案 ELK 部署架構

(1)Logstash中配置的what屬性值為previous,相當於Filebeat中的after,Logstash中配置的what屬性值為next,相當於Filebeat中的before。
(2)pattern => "%{LOGLEVEL}s*]" 中的LOGLEVEL是Logstash預製的正則匹配模式,預製的還有好多常用的正則匹配模式,詳細請看:https://github .com/logstash-p...

問題:如何將Kibana中顯示日誌的時間欄位替換為日誌資訊中的時間?

預設情況下,我們在Kibana中查看的時間欄位與日誌資訊中的時間不一致,因為預設的時間欄位值是日誌收集時的當前時間,所以需要將該欄位的時間替換為日誌資訊中的時間。

解決方案:使用grok分詞外掛程式與date時間格式化外掛程式來實作

在Logstash的設定檔的過濾器中設定grok分詞外掛程式與date時間格式化插件,如:

分散式即時日誌分析解決方案 ELK 部署架構

如要匹配的日誌格式為:“DEBUG[DefaultBeanDefinitionDocumentReader:106] Loading bean definitions”,解析出該日誌的時間字段的方式有:

① 透過引入寫好的表達式文件,如表達式文件為customer_patterns,內容為:
CUSTOMER_TIME %{YEAR}%{MONTHNUM}%{MONTHDAY}s+ %{TIME}
註:內容格式為:[自訂表達式名稱] [正規表示式]
然後logstash中就可以這樣引用:

分散式即時日誌分析解決方案 ELK 部署架構

分散式即時日誌分析解決方案 ELK 部署架構

##② 以設定項目的方式,規則為:(?正規符合規則),如:


分散式即時日誌分析解決方案 ELK 部署架構問題:如何在Kibana中透過選擇不同的系統日誌模組來查看資料

一般在Kibana中顯示的日誌資料混合了來自不同系統模組的數據,那麼如何來選擇或過濾只查看指定的系統模組的日誌資料?



解決方案:新增標識不同系統模組的字段或根據不同系統模組建立ES索引

1、新增標識不同系統模組的字段,然後在Kibana中可以根據該字段來過濾查詢不同模組的資料分散式即時日誌分析解決方案 ELK 部署架構這裡以第二種部署架構講解,在Filebeat中的配置內容為:


# #透過新增:log_from欄位來識別不同的系統模組日誌

###2、根據不同的系統模組配置對應的ES索引,然後在Kibana中建立對應的索引模式匹配,即可在頁面通過索引模式下拉框選擇不同的系統模組資料。 ###這裡以第二種部署架構講解,分為兩個步驟:###① 在Filebeat中的設定內容為:##################透過document_type來標識不同系統模組######② 修改Logstash中output的配置內容為:###在output中增加index屬性,%{type}表示以不同的document_type值建構ES索引#################

四、總結

本文主要介紹了ELK即時日誌分析的三種部署架構,以及不同架構所能解決的問題,這三種架構中第二種部署方式是時下最受歡迎也是最常用的部署方式,最後介紹了ELK作在日誌分析中的一些問題與解決方案,說在最後,ELK不僅可以用來作為分散式日誌資料集中式查詢和管理,還可以用來作為專案應用以及伺服器資源監控等場景。

以上是分散式即時日誌分析解決方案 ELK 部署架構的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
PHP行動:現實世界中的示例和應用程序PHP行動:現實世界中的示例和應用程序Apr 14, 2025 am 12:19 AM

PHP在電子商務、內容管理系統和API開發中廣泛應用。 1)電子商務:用於購物車功能和支付處理。 2)內容管理系統:用於動態內容生成和用戶管理。 3)API開發:用於RESTfulAPI開發和API安全性。通過性能優化和最佳實踐,PHP應用的效率和可維護性得以提升。

PHP:輕鬆創建交互式Web內容PHP:輕鬆創建交互式Web內容Apr 14, 2025 am 12:15 AM

PHP可以輕鬆創建互動網頁內容。 1)通過嵌入HTML動態生成內容,根據用戶輸入或數據庫數據實時展示。 2)處理表單提交並生成動態輸出,確保使用htmlspecialchars防XSS。 3)結合MySQL創建用戶註冊系統,使用password_hash和預處理語句增強安全性。掌握這些技巧將提升Web開發效率。

PHP和Python:比較兩種流行的編程語言PHP和Python:比較兩種流行的編程語言Apr 14, 2025 am 12:13 AM

PHP和Python各有優勢,選擇依據項目需求。 1.PHP適合web開發,尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能,語法簡潔,適合初學者。

PHP的持久相關性:它還活著嗎?PHP的持久相關性:它還活著嗎?Apr 14, 2025 am 12:12 AM

PHP仍然具有活力,其在現代編程領域中依然佔據重要地位。 1)PHP的簡單易學和強大社區支持使其在Web開發中廣泛應用;2)其靈活性和穩定性使其在處理Web表單、數據庫操作和文件處理等方面表現出色;3)PHP不斷進化和優化,適用於初學者和經驗豐富的開發者。

PHP的當前狀態:查看網絡開發趨勢PHP的當前狀態:查看網絡開發趨勢Apr 13, 2025 am 12:20 AM

PHP在現代Web開發中仍然重要,尤其在內容管理和電子商務平台。 1)PHP擁有豐富的生態系統和強大框架支持,如Laravel和Symfony。 2)性能優化可通過OPcache和Nginx實現。 3)PHP8.0引入JIT編譯器,提升性能。 4)雲原生應用通過Docker和Kubernetes部署,提高靈活性和可擴展性。

PHP與其他語言:比較PHP與其他語言:比較Apr 13, 2025 am 12:19 AM

PHP適合web開發,特別是在快速開發和處理動態內容方面表現出色,但不擅長數據科學和企業級應用。與Python相比,PHP在web開發中更具優勢,但在數據科學領域不如Python;與Java相比,PHP在企業級應用中表現較差,但在web開發中更靈活;與JavaScript相比,PHP在後端開發中更簡潔,但在前端開發中不如JavaScript。

PHP與Python:核心功能PHP與Python:核心功能Apr 13, 2025 am 12:16 AM

PHP和Python各有優勢,適合不同場景。 1.PHP適用於web開發,提供內置web服務器和豐富函數庫。 2.Python適合數據科學和機器學習,語法簡潔且有強大標準庫。選擇時應根據項目需求決定。

PHP:網絡開發的關鍵語言PHP:網絡開發的關鍵語言Apr 13, 2025 am 12:08 AM

PHP是一種廣泛應用於服務器端的腳本語言,特別適合web開發。 1.PHP可以嵌入HTML,處理HTTP請求和響應,支持多種數據庫。 2.PHP用於生成動態網頁內容,處理表單數據,訪問數據庫等,具有強大的社區支持和開源資源。 3.PHP是解釋型語言,執行過程包括詞法分析、語法分析、編譯和執行。 4.PHP可以與MySQL結合用於用戶註冊系統等高級應用。 5.調試PHP時,可使用error_reporting()和var_dump()等函數。 6.優化PHP代碼可通過緩存機制、優化數據庫查詢和使用內置函數。 7

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境