這篇文章主要介紹了關於PHP實現的日誌收集系統,有著一定的參考價值,現在分享給大家,有需要的朋友可以參考一下
最近業務中涉及到遠端伺服器的日誌收集需求, 出於限制技術堆疊擴大的想法,使用PHP進行了實現.
實現過程中有些小小需要注意的點,記錄如下:
##1. 主動獲取. 由於伺服器較多, 如果使用Flume之類的架構, 需要在每台伺服器上安裝軟體, 這就產生了運維成本. 所以我們使用收集端主動獲取的方式. 不需要在生產者(服務端)安裝軟體.2.SSH連線. 每台伺服器都配置了SSH連線權限,使用PHP的ssh2擴充即可遠端連線並存取伺服器內容.
##3.伺服器日誌結構統一. 每台伺服器上的日誌檔案都按同一目錄規則放置,以簡化程式邏輯.
4.CLI運行. 收集是持續運行的程式,使用CLI模式,要注意,此時所使用的INI檔案問題.
5.SSH連線異常. 有時,由於網路問題,導致SSH連線或驗證失敗, 延遲重試即可.
6 .日誌截斷與壓縮. 通常,我們的運維會在每天的固定時間對日誌進行截斷和壓縮, 這就有了兩種類型的文件需要讀取:壓縮與未壓縮的日誌, 需要分別處理.
7.日誌中的時間戳. 以秒為單位的時間戳記不足以區分請求, 我們增加$msec以毫秒計量, 同一毫秒內,同一IP來源,同一UA的可以認為是一個請求.
8.讀取目錄. 使用readdir即可讀取SSH格式的遠端目錄, readdir("ssh2.sft://......"); 過濾掉不需要的檔案後, 按檔案建立時間排序,逐一處理.
9.讀取壓縮檔案. 如果用file_get_contents會導致介面長期無回應, 我使用了fopen, fread 逐步讀取. 一次讀取8K (再大也沒有用了). 每讀取一定次數後,輸出一個進度顯示.
10.壓縮檔案快取. 讀取成功後, 儲存到快取目錄, 以便備份以及下次使用.如果程式出錯或重新運行時, 先檢查快取目錄, 如果有快取檔案,就不用從網路上讀取了.
#11.解壓縮. 使用gzdecode即可. 這會導致PHP記憶體需要暴增, 調整PHP.INI吧, 把記憶體限制擴大.
12.壓縮日誌處理完成記錄. 處理完成一個壓縮檔後, 在資料庫中記錄下來, 以後PHP程式運行後,就不用重複處理了.
13.未壓縮日誌處理. 未壓縮的日誌顯示,此日誌仍在增長中. 不需要快取. 使用資料庫記錄,目前檔案指標(使用ftell,fseek ). 記錄檔案建立日期.
14.未壓縮日誌判斷. 當檔案日期與記錄的日期不同時, 或檔案小於記錄中的檔案大小, 說明此檔案被更新了, 需要重置檔案指標.
否則可以直接定位(fseek),以繼續從上次處理的位置進行.
15.日誌行分解. 使用正規即可,根據空格及定界符進行區分. 也可使用logParser第三方類庫來處理. 為節省內存開銷.可使用Iterator 協程模式, 逐行返回.
16.日誌判重. 事先讀取每個伺服器的最後日誌時間戳(毫秒)以及IP,UA.
#17.日誌保存. 我是使用了MYSQL來保存日誌. 每一行日誌執行一次MYSQL會極大浪費運行時間, 可以累積4000行再一次插入.
18.錯誤處理. 除了SSH連接失敗外, 還會讀取半行日誌,導致分解失敗, 此時也拋出異常. 由主程式捕獲,並重新運行即可.
相關推薦:
以上是PHP實作的日誌收集系統的詳細內容。更多資訊請關注PHP中文網其他相關文章!

php把负数转为正整数的方法:1、使用abs()函数将负数转为正数,使用intval()函数对正数取整,转为正整数,语法“intval(abs($number))”;2、利用“~”位运算符将负数取反加一,语法“~$number + 1”。

实现方法:1、使用“sleep(延迟秒数)”语句,可延迟执行函数若干秒;2、使用“time_nanosleep(延迟秒数,延迟纳秒数)”语句,可延迟执行函数若干秒和纳秒;3、使用“time_sleep_until(time()+7)”语句。

php除以100保留两位小数的方法:1、利用“/”运算符进行除法运算,语法“数值 / 100”;2、使用“number_format(除法结果, 2)”或“sprintf("%.2f",除法结果)”语句进行四舍五入的处理值,并保留两位小数。

判断方法:1、使用“strtotime("年-月-日")”语句将给定的年月日转换为时间戳格式;2、用“date("z",时间戳)+1”语句计算指定时间戳是一年的第几天。date()返回的天数是从0开始计算的,因此真实天数需要在此基础上加1。

php判断有没有小数点的方法:1、使用“strpos(数字字符串,'.')”语法,如果返回小数点在字符串中第一次出现的位置,则有小数点;2、使用“strrpos(数字字符串,'.')”语句,如果返回小数点在字符串中最后一次出现的位置,则有。

方法:1、用“str_replace(" ","其他字符",$str)”语句,可将nbsp符替换为其他字符;2、用“preg_replace("/(\s|\ \;||\xc2\xa0)/","其他字符",$str)”语句。

在PHP中,可以利用implode()函数的第一个参数来设置没有分隔符,该函数的第一个参数用于规定数组元素之间放置的内容,默认是空字符串,也可将第一个参数设置为空,语法为“implode(数组)”或者“implode("",数组)”。

php字符串有下标。在PHP中,下标不仅可以应用于数组和对象,还可应用于字符串,利用字符串的下标和中括号“[]”可以访问指定索引位置的字符,并对该字符进行读写,语法“字符串名[下标值]”;字符串的下标值(索引值)只能是整数类型,起始值为0。


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

SublimeText3漢化版
中文版,非常好用

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

Dreamweaver CS6
視覺化網頁開發工具

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中