使用Docker建置ELK+Filebeat日誌集中管理平台

當前環境

1.系統：centos 7

2.docker 1.12.1

介紹

ElasticSearch

#Elasticsearch 是一個即時的分散式搜尋和分析引擎，它可以用於全文搜索，結構化搜尋以及分析。它是一個建立在全文搜尋引擎 Apache Lucene 基礎上的搜尋引擎，使用 Java 語言編寫。

Logstash

#Logstash 是一個具有即時通道能力的資料收集引擎，主要用於日誌的收集與解析，並將其存入 ElasticSearch中。

Kibana

#Kibana 是一款基於 Apache 開源協議，使用 JavaScript 語言編寫，為 Elasticsearch 提供分析和視覺化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互數據，並產生各種維度的表圖。

Filebeat

#引入Filebeat作為日誌蒐集器，主要是為了解決Logstash開銷大的問題。比起Logstash，Filebeat 所佔系統的 CPU 和記憶體幾乎可以忽略不計。

架構

不引入Filebeat

##引入Filebeat

##部署

啟動ElasticSearch

#

docker run -d -p 9200:9200 --name elasticsearch elasticsearch

啟動Logstash

#

# 1. 新建配置文件logstash.conf
input {
beats {
port => 5044
}
}

output {
stdout {
codec => rubydebug
}
elasticsearch {
#填写实际情况elasticsearch的访问IP，因为是跨容器间的访问，使用内网、公网IP，不要填写127.0.0.1|localhost
hosts => ["{$ELASTIC_IP}:9200"]

}
}

# 2.启动容器，暴露并映射端口，挂载配置文件
docker run -d --expose 5044 -p 5044:5044 --name logstash -v "$PWD":/config-dir logstash -f /config-dir/logstash.conf

啟動Filebeat

#下載網址：https://www.elastic.co/downloads/beats/filebeat

# 1.下载Filebeat压缩包
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.2-linux-x86_64.tar.gz

# 2.解压文件
tar -xvf filebeat-5.2.2-linux-x86_64.tar.gz

# 3.新建配置文件filebeat.yml
filebeat:
prospectors:
- paths:
- /tmp/test.log #日志文件地址
input_type: log #从文件中读取
tail_files: true #以文件末尾开始读取数据
output:
logstash:
hosts: ["{$LOGSTASH_IP}:5044"] #填写logstash的访问IP

# 4.运行filebeat
./filebeat-5.2.2-linux-x86_64/filebeat -e -c filebeat.yml

啟動Kibana

#

docker run -d --name kibana -e ELASTICSEARCH_URL=http://{$ELASTIC_IP}:9200 -p 5601:5601 kibana

測試

模擬日誌資料

#

# 1.创建日志文件
touch /tmp/test.log

# 2.向日志文件中写入一条nginx访问日志
echo '127.0.0.1 - - [13/Mar/2017:22:57:14 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36" "-"' >> /tmp/test.log

訪問 http://{$KIBANA_IP}:5601

##總結

本文主要講述如何一步一步搭建ELK的過程，以及Filebeat在其中所扮演的角色。

這兒僅僅為大家做了一個演示，要在生產環境中部署時，還需使用資料卷進行資料持久化，容器記憶體問題也需考慮，elasticsearch與logstash都是相對吃記憶體的，如果不加以限制，很可能會拖垮你整個伺服器。

當然安全因素也是大家不能忽略的，如傳輸的安全性、連接埠權限的最小化暴露程度，防火牆設定等。

後續

logstash解析日誌格式，如JAVA、nginx、nodejs等日誌；

elasticsearch的常用搜尋語法；

透過kibana製作視覺化圖表；

以上是使用Docker建置ELK+Filebeat日誌集中管理平台的詳細內容。更多資訊請關注PHP中文網其他相關文章！