PHP實作開源ELK日誌分析平台

隨著網路與資訊科技的不斷發展，日誌分析成為了企業業務、網路安全和系統優化過程中不可或缺的一部分。過去的日誌分析方式主要依靠人工進行讀取、篩選和分析，對於大量的資料量存在著一定難度。而日誌分析平台的出現可以有效率、準確地處理日誌數據，進一步提升數據的價值。本文將介紹一種使用PHP實作的開源ELK日誌分析平台。

一、ELK簡介

ELK是Elasticsearch、Logstash、Kibana三個開源軟體的縮寫。 Elasticsearch是一款基於Lucene的搜尋引擎，可以處理大量資料並快速查詢；Logstash是一款開源日誌收集處理工具，可以對多種日誌進行收集、解析、過濾和轉換；Kibana則是一款用於資料可視化和互動的工具，可以快速產生各種圖表和儀錶板。

ELK具有使用簡單、效能高效、可擴展性強等特點，並且支援多種資料來源。它可以幫助企業快速搭建一套強大的日誌分析平台，用於監控系統及應用程式的運作狀態。

二、PHP實作ELK

在使用ELK的過程中，我們一般先使用Logstash進行日誌的收集、解析和轉化，然後再將資料儲存到Elasticsearch中，在使用Kibana進行可視化展示。而PHP作為一種流行的伺服器端腳本語言，同樣可以透過使用Logstash和Elasticsearch庫來實現日誌的收集和儲存。

1.安裝Logstash

Logstash的安裝非常簡單，我們可以透過官方網站的下載頁面選擇對應的版本，然後解壓縮到指定目錄即可。例如，我們可以透過以下命令在Linux系統中進行安裝：

curl -L -O https://download.elastic.co/logstash/logstash/logstash-5.5.2.tar.gz
tar -zxvf logstash-5.5.2.tar.gz
cd logstash-5.5.2/bin/
./logstash -e 'input { stdin { } } output { stdout {} }'

執行以上命令後，我們可以透過標準輸入來測試Logstash是否成功安裝。當然，為了更好地對於使用PHP收集日誌進行介紹，我們還需要安裝相關的庫。

2.安裝Elasticsearch庫

我們使用Composer來管理PHP函式庫的依賴關係。在安裝Logstash之後，我們可以使用以下指令來安裝Elasticsearch依賴函式庫：

composer require elasticsearch/elasticsearch

3.設定Logstash

在使用Logstash進行日誌收集之前，我們還需要設定Logstash的相關參數。首先，我們需要對於Logstash的輸入來定義。在輸入配置中，我們可以使用一些非常有用的插件，例如：

• file：用於讀取檔案中的日誌
• udp、tcp：用於讀取UDP和TCP協定的日誌
• syslog：用於讀取系統的Syslog日誌
• beats：可以直接接收Beats協定的日誌

在這裡，我們使用file外掛程式來讀取伺服器上的日誌文件，並進行解析和處理。例如：

input {
  file {
    path => "/var/log/apache2/access.log"
    type => "apache_access"
  }
}

接著，我們需要對於Logstash的過濾進行設定。過濾可以對於日誌進行分析和處理，例如提取特定欄位、進行IP位址或URL位址解析等。以下為一個簡單的篩選器：

filter {
  if [type] == "apache_access" {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }

    date {
      match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    }
  }
}

然後，我們可以將Logstash輸出定義。輸出可以將處理後的資料輸出到Elasticsearch或其他資料儲存媒體中，例如資料庫、檔案等。以下為一個輸出配置：

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "changeme"
  }
}

4.使用PHP收集日誌

在進行了以上的設定之後，我們就可以使用PHP來收集日誌了。以下是一個簡單的PHP腳本，可以運行於Linux或其他類別UNIX環境中：

<?php

require 'vendor/autoload.php';

use ElasticsearchClientBuilder;

$client = ClientBuilder::create()->build();

$log_path = '/var/log/apache2/access.log';
$log_index = 'apache_access';

if(!file_exists($log_path)) {
  echo "Log file '{$log_path}' not exists.";
  exit;
}

$file_size = filesize($log_path);
if($file_size == 0) {
  exit;
}

$lines = file($log_path);
if(empty($lines)) {
  exit;
}

foreach($lines as $line) {
  $log = [];
  $log['@timestamp'] = date('c');
  $log['message'] = $line;
  $log['type'] = $log_index;

  $params = [
    'body' => $log,
    'index' => 'logs',
    'type' => $log_index
  ];

  $response = $client->index($params);
}

在上述程式碼中，我們首先使用Elasticsearch客戶端程式庫來建立一個客戶端實例。然後，我們定義了一個$log_path變數來指定讀取的日誌檔案路徑。接下來，我們使用file_exists()函數來判斷該檔案是否存在，filesize()函數來取得檔案大小，以及file()函數來讀取檔案內容。

在foreach迴圈中，我們遍歷檔案中的每一行，將每一行日誌的格式儲存到$log陣列中。這裡，我們也將日誌的類型和目前的時間戳記儲存到$log陣列中。最後，我們使用Elasticsearch的index()方法將$log陣列傳送到Elasticsearch。

三、總結

透過以上的介紹，我們可以看到ELK日誌分析平台的工作流程。透過使用Logstash進行日誌收集、解析和轉化，再將資料儲存到Elasticsearch中，並使用Kibana對資料進行視覺化和互動展示，可以幫助我們快速且有效率地分析日誌資料。同時，PHP作為一種流行的伺服器端腳本語言，也可以使用Logstash和Elasticsearch庫進行日誌收集和儲存。

以上是PHP實作開源ELK日誌分析平台的詳細內容。更多資訊請關注PHP中文網其他相關文章！