PHP melaksanakan platform analisis log ELK sumber terbuka

Dengan pembangunan Internet dan teknologi maklumat yang berterusan, analisis log telah menjadi bahagian penting dalam perniagaan perusahaan, keselamatan rangkaian dan proses pengoptimuman sistem. Pada masa lalu, kaedah analisis log terutamanya bergantung pada pembacaan manual, penapisan dan analisis, yang sukar untuk sejumlah besar data. Kemunculan platform analisis log boleh memproses data log dengan cekap dan tepat, seterusnya meningkatkan nilai data. Artikel ini akan memperkenalkan platform analisis log ELK sumber terbuka yang dilaksanakan menggunakan PHP.

1. Pengenalan kepada ELK

ELK ialah singkatan daripada tiga perisian sumber terbuka: Elasticsearch, Logstash, dan Kibana. Elasticsearch ialah enjin carian berasaskan Lucene yang boleh memproses sejumlah besar data dan pertanyaan cepat Logstash ialah alat pengumpulan dan pemprosesan log sumber terbuka yang boleh mengumpul, menghuraikan, menapis dan mengubah pelbagai log Kibana ialah alat pemprosesan data; dan alatan interaktif yang boleh menjana pelbagai carta dan papan pemuka dengan cepat.

ELK mempunyai ciri-ciri penggunaan mudah, prestasi cekap, kebolehskalaan yang kukuh, dsb., dan menyokong berbilang sumber data. Ia boleh membantu perusahaan membina platform analisis log yang berkuasa dengan cepat untuk memantau status berjalan sistem dan aplikasi.

2. PHP melaksanakan ELK

Dalam proses menggunakan ELK, kami biasanya menggunakan Logstash untuk mengumpul, menghuraikan dan mengubah log, dan kemudian menyimpan data dalam Elasticsearch Selepas menggunakan Kibana Make a visual paparan. Sebagai bahasa skrip sebelah pelayan yang popular, PHP juga boleh mengumpul dan menyimpan log dengan menggunakan perpustakaan Logstash dan Elasticsearch.

1. Pasang Logstash

Pemasangan Logstash adalah sangat mudah. ​​Kami boleh memilih versi yang sepadan melalui halaman muat turun tapak web rasmi, dan kemudian nyahzipnya ke direktori yang ditentukan. Sebagai contoh, kita boleh memasangnya dalam sistem Linux melalui arahan berikut:

curl -L -O https://download.elastic.co/logstash/logstash/logstash-5.5.2.tar.gz
tar -zxvf logstash-5.5.2.tar.gz
cd logstash-5.5.2/bin/
./logstash -e 'input { stdin { } } output { stdout {} }'

Selepas melaksanakan arahan di atas, kita boleh menguji sama ada Logstash berjaya dipasang melalui input standard. Sudah tentu, untuk memperkenalkan penggunaan PHP untuk mengumpul log dengan lebih baik, kami juga perlu memasang perpustakaan berkaitan.

2. Pasang perpustakaan Elasticsearch

Kami menggunakan Komposer untuk mengurus kebergantungan pustaka PHP. Selepas memasang Logstash, kami boleh menggunakan arahan berikut untuk memasang perpustakaan bergantung Elasticsearch:

composer require elasticsearch/elasticsearch

3. Konfigurasikan Logstash

Sebelum menggunakan Logstash untuk pengumpulan log, kami juga perlu mengkonfigurasi parameter yang berkaitan bagi Logstash. Pertama, kita perlu menentukan input kepada Logstash. Dalam konfigurasi input, kami boleh menggunakan beberapa pemalam yang sangat berguna, seperti:

• fail: untuk membaca log dalam fail
• udp, tcp: untuk membaca protokol UDP dan TCP log
• syslog: digunakan untuk membaca log Syslog sistem
• beats: boleh terus menerima log protokol Beats

Di sini, kami menggunakan pemalam fail untuk membaca fail log pada pelayan, menghuraikan dan memprosesnya. Contohnya:

input {
  file {
    path => "/var/log/apache2/access.log"
    type => "apache_access"
  }
}

Seterusnya, kita perlu mengkonfigurasi penapisan Logstash. Penapisan boleh menganalisis dan memproses log, seperti mengekstrak medan tertentu, menghuraikan alamat IP atau alamat URL, dsb. Berikut ialah penapis mudah:

filter {
  if [type] == "apache_access" {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }

    date {
      match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    }
  }
}

Kemudian, kita boleh mentakrifkan output Logstash. Output boleh mengeluarkan data yang diproses ke Elasticsearch atau media storan data lain, seperti pangkalan data, fail, dsb. Berikut ialah konfigurasi output:

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "changeme"
  }
}

4 Gunakan PHP untuk mengumpul log

Selepas konfigurasi di atas, kita boleh menggunakan PHP untuk mengumpul log. Berikut ialah skrip PHP mudah yang boleh dijalankan pada Linux atau persekitaran seperti UNIX yang lain:

<?php

require 'vendor/autoload.php';

use ElasticsearchClientBuilder;

$client = ClientBuilder::create()->build();

$log_path = '/var/log/apache2/access.log';
$log_index = 'apache_access';

if(!file_exists($log_path)) {
  echo "Log file '{$log_path}' not exists.";
  exit;
}

$file_size = filesize($log_path);
if($file_size == 0) {
  exit;
}

$lines = file($log_path);
if(empty($lines)) {
  exit;
}

foreach($lines as $line) {
  $log = [];
  $log['@timestamp'] = date('c');
  $log['message'] = $line;
  $log['type'] = $log_index;

  $params = [
    'body' => $log,
    'index' => 'logs',
    'type' => $log_index
  ];

  $response = $client->index($params);
}

Dalam kod di atas, kami mula-mula menggunakan perpustakaan klien Elasticsearch untuk mencipta contoh klien. Kemudian, kami mentakrifkan pembolehubah $log_path untuk menentukan laluan fail log untuk dibaca. Seterusnya, kami menggunakan fungsi file_exists() untuk menentukan sama ada fail itu wujud, fungsi filesize() untuk mendapatkan saiz fail, dan fungsi file() untuk membaca kandungan fail.

Dalam gelung foreach, kami melintasi setiap baris dalam fail dan menyimpan format setiap baris log ke dalam tatasusunan $log. Di sini, kami juga menyimpan jenis log dan cap masa semasa ke dalam tatasusunan $log. Akhir sekali, kami menghantar tatasusunan $log ke Elasticsearch menggunakan kaedah indeks() Elasticsearch.

3. Ringkasan

Melalui pengenalan di atas, kita dapat melihat aliran kerja platform analisis log ELK. Dengan menggunakan Logstash untuk mengumpul, menghuraikan dan mengubah log, kemudian menyimpan data dalam Elasticsearch, dan menggunakan Kibana untuk menggambarkan dan memaparkan data secara interaktif, kami boleh membantu kami menganalisis data log dengan cepat dan cekap. Pada masa yang sama, PHP, sebagai bahasa skrip sebelah pelayan yang popular, juga boleh menggunakan perpustakaan Logstash dan Elasticsearch untuk pengumpulan dan penyimpanan log.

Atas ialah kandungan terperinci PHP melaksanakan platform analisis log ELK sumber terbuka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!