PHP實作的日誌收集系統
- 不言原創
- 2018-04-18 13:59:592214瀏覽
這篇文章主要介紹了關於PHP實現的日誌收集系統，有著一定的參考價值，現在分享給大家，有需要的朋友可以參考一下
最近業務中涉及到遠端伺服器的日誌收集需求, 出於限制技術堆疊擴大的想法,使用PHP進行了實現.
實現過程中有些小小需要注意的點,記錄如下:
##1. 主動獲取. 由於伺服器較多, 如果使用Flume之類的架構, 需要在每台伺服器上安裝軟體, 這就產生了運維成本. 所以我們使用收集端主動獲取的方式. 不需要在生產者(服務端)安裝軟體.2.SSH連線. 每台伺服器都配置了SSH連線權限,使用PHP的ssh2擴充即可遠端連線並存取伺服器內容.
##3.伺服器日誌結構統一. 每台伺服器上的日誌檔案都按同一目錄規則放置,以簡化程式邏輯.
4.CLI運行. 收集是持續運行的程式,使用CLI模式,要注意,此時所使用的INI檔案問題.
5.SSH連線異常. 有時,由於網路問題,導致SSH連線或驗證失敗, 延遲重試即可.
6 .日誌截斷與壓縮. 通常,我們的運維會在每天的固定時間對日誌進行截斷和壓縮, 這就有了兩種類型的文件需要讀取:壓縮與未壓縮的日誌, 需要分別處理.
7.日誌中的時間戳. 以秒為單位的時間戳記不足以區分請求, 我們增加$msec以毫秒計量, 同一毫秒內,同一IP來源,同一UA的可以認為是一個請求.
8.讀取目錄. 使用readdir即可讀取SSH格式的遠端目錄, readdir("ssh2.sft://......"); 過濾掉不需要的檔案後, 按檔案建立時間排序,逐一處理.
9.讀取壓縮檔案. 如果用file_get_contents會導致介面長期無回應, 我使用了fopen, fread 逐步讀取. 一次讀取8K (再大也沒有用了). 每讀取一定次數後,輸出一個進度顯示.
10.壓縮檔案快取. 讀取成功後, 儲存到快取目錄, 以便備份以及下次使用.如果程式出錯或重新運行時, 先檢查快取目錄, 如果有快取檔案,就不用從網路上讀取了.
#11.解壓縮. 使用gzdecode即可. 這會導致PHP記憶體需要暴增, 調整PHP.INI吧, 把記憶體限制擴大.
12.壓縮日誌處理完成記錄. 處理完成一個壓縮檔後, 在資料庫中記錄下來, 以後PHP程式運行後,就不用重複處理了.
13.未壓縮日誌處理. 未壓縮的日誌顯示,此日誌仍在增長中. 不需要快取. 使用資料庫記錄,目前檔案指標(使用ftell,fseek ). 記錄檔案建立日期.
14.未壓縮日誌判斷. 當檔案日期與記錄的日期不同時, 或檔案小於記錄中的檔案大小, 說明此檔案被更新了, 需要重置檔案指標.
否則可以直接定位(fseek),以繼續從上次處理的位置進行.
15.日誌行分解. 使用正規即可,根據空格及定界符進行區分. 也可使用logParser第三方類庫來處理. 為節省內存開銷.可使用Iterator 協程模式, 逐行返回.
16.日誌判重. 事先讀取每個伺服器的最後日誌時間戳(毫秒)以及IP,UA.
#17.日誌保存. 我是使用了MYSQL來保存日誌. 每一行日誌執行一次MYSQL會極大浪費運行時間, 可以累積4000行再一次插入.
18.錯誤處理. 除了SSH連接失敗外, 還會讀取半行日誌,導致分解失敗, 此時也拋出異常. 由主程式捕獲,並重新運行即可.
相關推薦：
以上是PHP實作的日誌收集系統的詳細內容。更多資訊請關注PHP中文網其他相關文章！