如何使用 Logstash 实时解析并提取 Nginx 日志字段-Nginx-PHP中文网

logstash 可高效实时解析 nginx 日志，核心是通过 input 读取、filter（grok/dissect/json）精准解析、output 输出，需严格匹配 nginx 日志格式（如默认 main 格式），并配合 date、dissect 等插件完善字段与时间处理。

如何使用 logstash 实时解析并提取 nginx 日志字段

Logstash 可以高效地实时解析 Nginx 日志，关键在于正确配置 input（读取日志）、filter（解析字段）和 output（输出结果）三部分，其中核心是用 grok 过滤器匹配 Nginx 的默认或自定义日志格式。

确认并复现 Nginx 日志格式

Nginx 默认的 log_format 是：

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

Logstash 的 grok 模式必须与该格式严格对齐。若你修改过日志格式（比如添加了 $request_time 或使用 JSON 格式），需同步更新 grok 表达式或改用 dissect/json 插件。

Nginx Hosting

通过服务器本地nginx实例实现零认证静态游戏托管。作为所有浏览器游戏的主要部署方式，无需登录、无需令牌、无需用户操作。

下载

编写 Logstash filter 使用 grok 解析字段

在 Logstash 配置的 filter 区块中，用 grok 提取关键字段。以下是一个匹配默认 main 格式的典型配置：

filter {
  grok {
    match => { "message" => "%{IPORHOST:remote_ip} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:http_method} %{DATA:request} %{DATA:http_version}\" %{NUMBER:status:int} %{NUMBER:body_bytes_sent:int} \"%{DATA:http_referer}\" \"%{DATA:user_agent}\" \"%{DATA:x_forwarded_for}\"" }
  }
  # 可选：将时间字符串转为 @timestamp 字段
  date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
  # 可选：解析 URL 中的路径和参数
  if [request] {
    dissect {
      mapping => { "request" => "%{http_verb} %{path} %{http_protocol}" }
    }
  }
}

%{IPORHOST:remote_ip} 提取客户端 IP（兼容 IPv6 和主机名）
%{HTTPDATE:time_local} 自动识别 Nginx 时间格式（如 10/Jan/2024:14:22:05 +0800）
%{NUMBER:status:int} 将状态码转为整型，便于后续聚合
date 插件确保 @timestamp 正确反映日志实际发生时间，而非 Logstash 接收时间

配置 input 实时读取日志文件

推荐使用 file 输入插件配合 sincedb_path 实现断点续读：

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "end"
    sincedb_path => "/var/lib/logstash/sincedb_nginx"
    ignore_older => 86400  # 忽略 24 小时前的文件（防历史轮转日志干扰）
    tags => ["nginx-access"]
  }
}

start_position => "end" 避免首次启动时重读全部历史日志
sincedb_path 指定独立数据库路径，防止多个 Logstash 实例冲突
如需监听多个文件（如 access.log 和 error.log），可写多个 file 块并用 tags 区分处理逻辑

验证与调试技巧

开发阶段务必开启 stdout 输出并启用 rubydebug 查看解析效果：

output {
  stdout {
    codec => rubydebug
  }
  # 生产环境替换为 elasticsearch / kafka 等
  elasticsearch {
    hosts => ["http://es-host:9200"]
    index => "nginx-access-%{+YYYY.MM.dd}"
  }
}