Comment utiliser ELK Stack pour l'analyse des journaux dans un environnement Linux ?

Comment utiliser ELK Stack pour l'analyse des journaux dans un environnement Linux ?

1. Introduction à ELK Stack
ELK Stack est une plateforme d'analyse de logs composée de trois logiciels open source Elasticsearch, Logstash et Kibana. Elasticsearch est un moteur de recherche et d'analyse distribué en temps réel, Logstash est un outil de collecte, de traitement et de transfert de journaux, et Kibana est une interface de visualisation et d'analyse des journaux.

2. Installez ELK Stack

1. Installez Elasticsearch
   (1) Téléchargez la dernière version d'Elasticsearch :

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz

(2) Décompressez le package d'installation :

tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz

(3) Exécutez Elasticsearch :

cd elasticsearch-7.15.2/bin
./elasticsearch

(4) Vérifiez si Elasticsearch fonctionne normalement, visitez http://localhost:9200 dans le navigateur. Si les informations suivantes sont renvoyées, l'installation est réussie :

{
  "name" : "xxxx",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "xxxx",
  "version" : {
    "number" : "7.15.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "xxxx",
    "build_date" : "xxxx",
    "build_snapshot" : false,
    "lucene_version" : "xxxx",
    "minimum_wire_compatibility_version" : "xxxx",
    "minimum_index_compatibility_version" : "xxxx"
  },
  "tagline" : "You Know, for Search"
}

2. Installez Logstash
   (1) Téléchargez la dernière version de Logstash :

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.15.2.tar.gz

(2) Solution Package d'installation compressé :

tar -zxvf logstash-7.15.2.tar.gz

(3) Créez un fichier de configuration Logstash, tel que logstash.conf :

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-access-log"
  }
  stdout { codec => rubydebug }
}

Le fichier de configuration ci-dessus spécifie le chemin du journal d'entrée, utilise le modèle Grok pour correspondre au format du journal, et envoie le journal traité à Elasticsearch. Et affiche les informations de débogage dans le terminal via le plug-in stdout.

(4) Exécutez Logstash :

cd logstash-7.15.2/bin
./logstash -f logstash.conf

Remarque : les informations de configuration de logstash.conf doivent être modifiées en fonction de la situation réelle.

3. Installez Kibana
   (1) Téléchargez la dernière version de Kibana :

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.15.2-linux-x86_64.tar.gz

(2) Décompressez le package d'installation :

tar -zxvf kibana-7.15.2-linux-x86_64.tar.gz

(3) Modifiez le fichier config/kibana.yml et définissez l'adresse d'Elasticsearch :

elasticsearch.hosts: ["http://localhost:9200"]

( 4) Exécutez Kibana :

cd kibana-7.15.2/bin
./kibana

(5) Visitez http://localhost:5601 dans le navigateur Si vous voyez l'interface Kibana, l'installation est réussie.

3. Utilisez ELK Stack pour l'analyse des journaux
Une fois ELK Stack installé, vous pouvez démarrer l'analyse des journaux.

1. Collecter les journaux
   Dans le fichier de configuration Logstash, vous pouvez configurer les journaux provenant de plusieurs sources, telles que des fichiers, des réseaux, etc. Modifiez le fichier de configuration Logstash, spécifiez la source de journal correcte et formatez-la en conséquence.
2. Traitement et transfert des journaux
   Logstash est un puissant outil de traitement des journaux qui peut traiter et transférer les journaux via des plug-ins intégrés. Dans la section filtre du fichier de configuration, vous pouvez utiliser une série de plug-ins pour analyser, filtrer et formater les journaux.
3. Stockage et indexation des journaux
   Dans la section de sortie du fichier de configuration Logstash, vous pouvez configurer la manière dont les journaux sont stockés et indexés. Elasticsearch est un moteur de recherche distribué capable de stocker et de récupérer rapidement de grandes quantités de données. Vous pouvez stocker les journaux traités dans l'index correspondant en configurant les hôtes et les paramètres d'index d'Elasticsearch.
4. Visualisez et analysez les journaux
   Kibana est l'outil de visualisation d'ELK Stack, qui fournit des graphiques et des tableaux de bord riches pour afficher et analyser les données des journaux. Dans Kibana, divers graphiques et rapports peuvent être personnalisés pour répondre à différents besoins en créant des modèles d'index, des visualisations et des tableaux de bord.

4. Résumé
ELK Stack est une plateforme d'analyse de journaux puissante et flexible qui peut nous aider à collecter, traiter, stocker, visualiser et analyser les données de journaux. Il suffit de quelques étapes simples pour installer et configurer ELK Stack dans un environnement Linux, puis vous pouvez effectuer une analyse des journaux en fonction des besoins réels. De cette manière, nous pouvons mieux comprendre et utiliser les données des journaux pour optimiser les performances du système, identifier les problèmes potentiels et améliorer l'expérience utilisateur.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!