PHP는 오픈 소스 ELK 로그 분석 플랫폼을 구현합니다.

인터넷과 정보 기술의 지속적인 발전으로 로그 분석은 기업 비즈니스, 네트워크 보안 및 시스템 최적화 프로세스에서 없어서는 안 될 부분이 되었습니다. 과거 로그 분석 방법은 주로 수동 읽기, 필터링, 분석에 의존해 대용량 데이터에는 어려웠다. 로그 분석 플랫폼의 등장은 로그 데이터를 효율적이고 정확하게 처리할 수 있어 데이터의 가치를 더욱 높일 수 있습니다. 본 글에서는 PHP를 이용하여 구현한 오픈소스 ELK 로그 분석 플랫폼을 소개합니다.

1. ELK 소개

ELK는 Elasticsearch, Logstash, Kibana 세 가지 오픈 소스 소프트웨어의 약어입니다. Elasticsearch는 대량의 데이터를 처리하고 빠르게 쿼리할 수 있는 Lucene 기반 검색 엔진입니다. Logstash는 다양한 로그를 수집, 구문 분석, 필터링 및 변환할 수 있는 오픈 소스 로그 수집 및 처리 도구입니다. 다양한 차트와 대시보드를 빠르게 생성할 수 있는 대화형 도구입니다.

ELK는 간단한 사용, 효율적인 성능, 강력한 확장성 등의 특징을 가지며 다양한 데이터 소스를 지원합니다. 이를 통해 기업은 강력한 로그 분석 플랫폼을 신속하게 구축하여 시스템 및 애플리케이션의 실행 상태를 모니터링할 수 있습니다.

2. PHP는 ELK를 구현합니다

ELK를 사용하는 과정에서 일반적으로 Logstash를 사용하여 로그를 수집, 구문 분석 및 변환한 다음 Elasticsearch에 데이터를 저장하고 시각적 표시를 위해 Kibana를 사용합니다. 널리 사용되는 서버 측 스크립팅 언어인 PHP는 Logstash 및 Elasticsearch 라이브러리를 사용하여 로그를 수집하고 저장할 수도 있습니다.

1. Logstash 설치

Logstash 설치는 매우 간단합니다. 공식 웹사이트의 다운로드 페이지를 통해 해당 버전을 선택한 후 지정된 디렉터리에 압축을 풀면 됩니다. 예를 들어 Linux 시스템에서는 다음 명령을 통해 설치할 수 있습니다.

curl -L -O https://download.elastic.co/logstash/logstash/logstash-5.5.2.tar.gz
tar -zxvf logstash-5.5.2.tar.gz
cd logstash-5.5.2/bin/
./logstash -e 'input { stdin { } } output { stdout {} }'

위 명령을 실행한 후 표준 입력을 통해 Logstash가 성공적으로 설치되었는지 테스트할 수 있습니다. 물론, PHP를 사용하여 로그를 수집하는 방법을 더 잘 소개하려면 관련 라이브러리도 설치해야 합니다.

2. Elasticsearch 라이브러리 설치

우리는 Composer를 사용하여 PHP 라이브러리의 종속성을 관리합니다. Logstash를 설치한 후 다음 명령을 사용하여 Elasticsearch 종속 라이브러리를 설치할 수 있습니다.

composer require elasticsearch/elasticsearch

3. Logstash 구성

로그 수집을 위해 Logstash를 사용하기 전에 Logstash의 관련 매개변수도 구성해야 합니다. 먼저 Logstash에 대한 입력을 정의해야 합니다. 입력 구성에서는 다음과 같은 매우 유용한 플러그인을 사용할 수 있습니다.

• file: 파일의 로그를 읽는 데 사용
• udp, tcp: UDP 및 TCP 프로토콜의 로그를 읽는 데 사용
• syslog: 사용 시스템 Syslog 로그 읽기
• beats: Beats 프로토콜의 로그를 직접 수신할 수 있습니다

여기서는 파일 플러그인을 사용하여 서버의 로그 파일을 읽고 구문 분석하고 처리합니다. 예:

input {
  file {
    path => "/var/log/apache2/access.log"
    type => "apache_access"
  }
}

다음으로 Logstash 필터링을 구성해야 합니다. 필터링을 통해 특정 필드 추출, IP 주소 또는 URL 주소 구문 분석 등의 로그를 분석하고 처리할 수 있습니다. 다음은 간단한 필터입니다.

filter {
  if [type] == "apache_access" {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }

    date {
      match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    }
  }
}

그런 다음 Logstash 출력을 정의할 수 있습니다. 출력은 처리된 데이터를 Elasticsearch 또는 데이터베이스, 파일 등과 같은 기타 데이터 저장 매체로 출력할 수 있습니다. 출력 구성은 다음과 같습니다.

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "changeme"
  }
}

4. PHP를 사용하여 로그 수집

위 구성 후에는 PHP를 사용하여 로그를 수집할 수 있습니다. 다음은 Linux 또는 기타 UNIX 유사 환경에서 실행할 수 있는 간단한 PHP 스크립트입니다.

<?php

require 'vendor/autoload.php';

use ElasticsearchClientBuilder;

$client = ClientBuilder::create()->build();

$log_path = '/var/log/apache2/access.log';
$log_index = 'apache_access';

if(!file_exists($log_path)) {
  echo "Log file '{$log_path}' not exists.";
  exit;
}

$file_size = filesize($log_path);
if($file_size == 0) {
  exit;
}

$lines = file($log_path);
if(empty($lines)) {
  exit;
}

foreach($lines as $line) {
  $log = [];
  $log['@timestamp'] = date('c');
  $log['message'] = $line;
  $log['type'] = $log_index;

  $params = [
    'body' => $log,
    'index' => 'logs',
    'type' => $log_index
  ];

  $response = $client->index($params);
}

위 코드에서는 먼저 Elasticsearch 클라이언트 라이브러리를 사용하여 클라이언트 인스턴스를 생성합니다. 그런 다음 읽을 로그 파일의 경로를 지정하기 위해 $log_path 변수를 정의합니다. 다음으로 file_exists() 함수를 사용하여 파일이 존재하는지 확인하고, filesize() 함수를 사용하여 파일 크기를 가져오고, file() 함수를 사용하여 파일 내용을 읽습니다.

foreach 루프에서는 파일의 각 줄을 순회하고 로그의 각 줄 형식을 $log 배열에 저장합니다. 여기서는 로그 유형과 현재 타임스탬프도 $log 배열에 저장합니다. 마지막으로 Elasticsearch의 index() 메서드를 사용하여 $log 배열을 Elasticsearch로 보냅니다.

3. 요약

위의 소개를 통해 ELK 로그 분석 플랫폼의 워크플로우를 확인할 수 있습니다. Logstash를 사용하여 로그를 수집, 구문 분석 및 변환한 다음 Elasticsearch에 데이터를 저장하고 Kibana를 사용하여 데이터를 시각화하고 대화형으로 표시함으로써 로그 데이터를 빠르고 효율적으로 분석하는 데 도움을 줄 수 있습니다. 동시에 널리 사용되는 서버 측 스크립팅 언어인 PHP는 로그 수집 및 저장을 위해 Logstash 및 Elasticsearch 라이브러리를 사용할 수도 있습니다.

위 내용은 PHP는 오픈 소스 ELK 로그 분석 플랫폼을 구현합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!