Linux怎么配置Logstash日志管道_Linux Logstash数据处理教程【进阶】-LINUX-PHP中文网

需完成输入、过滤和输出三组件协同配置：先安装java并验证logstash服务状态；再分别编写input（文件/syslog/beats）、filter（grok/date/mutate）和output（elasticsearch/文件）配置文件；最后校验语法并热重载。

linux怎么配置logstash日志管道_linux logstash数据处理教程【进阶】

如果您希望在Linux系统中构建一个完整的Logstash日志处理管道，需完成输入、过滤和输出三个核心组件的协同配置。以下是实现该功能的具体步骤：

一、安装并验证Logstash运行环境

Logstash依赖Java运行时环境，且需确保版本兼容（推荐OpenJDK 11或17）。安装后需确认服务可启动且无端口冲突。

1、执行java -version命令，检查输出中包含11.0.x或17.0.x字样。

2、使用sudo systemctl daemon-reload重新加载systemd配置文件。

3、运行sudo systemctl start logstash启动服务，并立即执行sudo systemctl is-active logstash验证状态是否为active。

二、编写基础日志输入配置

Logstash通过input插件从不同来源采集日志，常见方式包括文件监听、Syslog接收与Beats接入。配置需明确指定类型、路径及编码格式。

1、创建配置文件/etc/logstash/conf.d/01-input.conf，写入以下内容：

2、若采集Nginx访问日志，设置path => "/var/log/nginx/access.log"并添加codec => "json"以支持结构化解析。

3、若启用TCP Syslog监听，需配置port => 5140并设置tags => ["syslog"]用于后续条件过滤。

三、配置多字段过滤器链

filter插件用于解析、转换和丰富日志事件。grok是处理非结构化文本的核心工具，date插件则负责时间戳标准化。

1、在/etc/logstash/conf.d/02-filter.conf中定义grok模式，例如：grok { match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:useragent}" } }

2、添加date插件将提取的timestamp字段转为@timestamp，配置match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]。

3、使用mutate插件重命名字段，例如rename => { "clientip" => "source_ip" }，并移除原始message字段：remove_field => ["message"]。

四、设置Elasticsearch与文件双输出

output插件决定日志最终去向。生产环境中常采用Elasticsearch作为主存储，同时保留本地文件副本用于审计或调试。

1、在/etc/logstash/conf.d/03-output.conf中配置Elasticsearch输出，指定hosts => ["http://localhost:9200"]与index => "nginx-access-%{+YYYY.MM.dd}"。

2、添加file输出块，设置path => "/var/log/logstash/output-%{+YYYY-MM-dd}.log"，并启用codec => json保证可读性。

3、为避免索引写入失败导致数据丢失，启用retry_on_failure => true和dead_letter_queue_enable => true。

五、校验配置语法并热重载

Logstash提供配置检查机制，可在不中断服务的前提下验证语法正确性与插件可用性。重载操作需触发配置刷新而非重启进程。

1、执行sudo -u logstash /usr/share/logstash/bin/logstash -t -f /etc/logstash/conf.d/，等待输出出现Configuration OK。

2、修改任意conf文件后，向Logstash进程发送SIGHUP信号：sudo kill -SIGHUP $(pidof logstash)。

3、查看/var/log/logstash/logstash-plain.log，确认日志中出现Pipeline started successfully及新配置的input/filter/output名称。