Teknologi dan alatan untuk analisis log masa nyata dan visualisasi di bawah Linux

Teknik dan alatan untuk analisis dan visualisasi log masa nyata di bawah Linux

Ikhtisar:
Dengan perkembangan teknologi maklumat, analisis log dan visualisasi memainkan peranan penting dalam pemantauan dan penyelesaian masalah sistem. Dalam sistem pengendalian Linux, fail log adalah asas penting untuk merekodkan peristiwa dan pengecualian yang berlaku semasa operasi sistem. Artikel ini akan memperkenalkan cara menggunakan teknologi dan alatan di bawah Linux untuk mencapai analisis dan visualisasi log masa nyata. Terutamanya memperkenalkan tindanan teknologi ELK (Elasticsearch, Logstash, Kibana) dan alatan Fluentd.

1. Timbunan teknologi ELK:
   Timbunan teknologi ELK terdiri daripada tiga perisian sumber terbuka: Elasticsearch, Logstash dan Kibana. Mereka bertanggungjawab untuk penyimpanan data, pengumpulan dan pemprosesan log, dan paparan visual masing-masing.

1.1 Elasticsearch: Elasticsearch ialah enjin carian dan analisis teragih masa nyata. Ia menyimpan data log dalam indeks yang diedarkan dan menyediakan carian pantas dan keupayaan pengagregatan.

1.2 Logstash: Logstash ialah alat sumber terbuka untuk mengumpul, memproses dan memajukan log. Ia boleh mengumpul log daripada sumber data yang berbeza (seperti fail, rangkaian, pangkalan data, dll.), membersihkan dan mengubah data, dan kemudian menghantar data ke Elasticsearch untuk penyimpanan dan pengindeksan.

1.3 Kibana: Kibana ialah alat untuk menggambarkan dan menganalisis data log. Ia boleh memaparkan data log melalui carta ringkas, jadual dan peta, serta menyediakan fungsi carian dan penapisan yang berkuasa untuk memudahkan pengguna menjalankan analisis data log yang mendalam.

2. Fluentd:
   Fluentd ialah satu lagi alat pengumpulan dan pemajuan log sumber terbuka. Ia boleh mengumpul data log daripada sumber yang berbeza dan menghantarnya ke berbilang destinasi. Fluentd menyokong penyepaduan dengan Elasticsearch dan Kibana, dan juga boleh disepadukan dengan lancar dengan sistem storan dan pemprosesan lain.
3. Contoh:
   Berikut ialah contoh kod menggunakan tindanan teknologi ELK untuk melaksanakan analisis dan visualisasi log masa nyata.

3.1 Pasang dan konfigurasikan ELK:
Mula-mula, kita perlu memasang Elasticsearch, Logstash dan Kibana.

Di bawah sistem Ubuntu, anda boleh menggunakan arahan berikut untuk memasang:

sudo apt-get install elasticsearch
sudo apt-get install logstash
sudo apt-get install kibana

Selepas pemasangan selesai, setiap komponen perlu dikonfigurasikan dengan sewajarnya. Untuk langkah konfigurasi khusus, sila rujuk dokumentasi rasmi.

3.2 Kumpul log:
Andaikan kami mempunyai hos Linux yang menjalankan pelayan Apache, dan kami ingin mengumpul log aksesnya.

Mula-mula, tentukan sumber input dalam fail konfigurasi Logstash dan nyatakan laluan dan format fail log:

input {
  file {
    path => "/var/log/apache/access.log"
    start_position => "beginning"
  }
}

Kemudian, konfigurasikan sumber output untuk menghantar data ke Elasticsearch untuk penyimpanan dan pengindeksan:

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "apache-access-%{+YYYY.MM.dd}"
  }
}

3.3 Paparan visual :
Mula Selepas menggunakan Logstash dan Kibana, kami boleh memaparkan secara visual data log yang dikumpul melalui antara muka web Kibana.

Di Kibana, mula-mula konfigurasi alias indeks Elasticsearch dan pilih untuk mendapatkan data log daripadanya:

Management -> Index Patterns -> Create Index Pattern -> 输入索引别名和时间字段 -> 确定

Kemudian, kita boleh menggunakan pelbagai carta dan jadual yang disediakan oleh Kibana untuk melaksanakan statistik dan analisis pada data log.

4. Ringkasan:
   Artikel ini memperkenalkan cara melaksanakan analisis dan visualisasi log masa nyata di bawah Linux. Dengan menggunakan tindanan teknologi ELK atau alat Fluentd, kami boleh mengumpul, memproses dan menyimpan data log dengan mudah serta melakukan paparan dan analisis visual yang fleksibel melalui alatan seperti Kibana. Kaedah ini boleh membantu kami memantau status pengendalian sistem dan menyelesaikan masalah dengan lebih baik, serta meningkatkan kebolehpercayaan dan prestasi sistem.

Atas ialah kandungan terperinci Teknologi dan alatan untuk analisis log masa nyata dan visualisasi di bawah Linux. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!