如何使用 ELK 堆栈实现 Nginx 日志的集中化管理-Nginx-PHP中文网

elk集中管理nginx日志的核心是打通日志从生成→传输→解析→存储→展示链路：需配置nginx输出json结构化日志，logstash用json codec采集并用grok/date解析，elasticsearch按日期索引存储，kibana基于nginx-access-*索引模式可视化分析。

如何使用 elk 堆栈实现 nginx 日志的集中化管理

使用 ELK 堆栈（Elasticsearch、Logstash、Kibana）集中管理 Nginx 日志，核心在于：把 Nginx 的 access 和 error 日志实时采集、结构化解析、存储到 Elasticsearch，并通过 Kibana 可视化分析。关键不是堆组件，而是打通日志从生成 → 传输 → 解析 → 存储 → 展示的链路。

配置 Nginx 输出结构化日志

Nginx 默认日志是纯文本，Logstash 难以直接提取字段。需先自定义 log_format，让每条日志包含明确分隔符（如 JSON 或空格分隔的键值对）：

推荐用 JSON 格式，避免解析歧义。在 nginx.conf 的 http 块中添加：

log_format json '{"@timestamp":"$time_iso8601",'
                  '"host":"$server_addr",'
                  '"clientip":"$remote_addr",'
                  '"size":$body_bytes_sent,'
                  '"responsetime":$request_time,'
                  '"domain":"$host",'
                  '"url":"$request",'
                  '"status":"$status",'
                  '"useragent":"$http_user_agent",'
                  '"xff":"$http_x_forwarded_for"}';

然后在 server 或 location 块中启用：access_log /var/log/nginx/access.log json;
重启 Nginx：nginx -t && systemctl reload nginx

部署 Logstash 做日志采集与解析

Logstash 负责读取 Nginx 日志文件、解析 JSON、补充字段、转发到 Elasticsearch：

Nginx Config Linter

对 Nginx 配置文件进行语法检查、验证和安全、性能审计。

下载

安装 Logstash 后，新建配置文件（如 /etc/logstash/conf.d/nginx.conf）：

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "end"
    sincedb_path => "/var/lib/logstash/sincedb_nginx"
    codec => "json"
  }
}
filter {
  # 把 $request 字段拆成 method、url、http_version
  if [url] {
    grok {
      match => { "url" => "%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}" }
      remove_field => ["url"]
    }
  }
  # 转换时间字段为 @timestamp（确保时区一致）
  date {
    match => ["@timestamp", "ISO8601"]
    target => "@timestamp"
  }
}
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "nginx-access-%{+YYYY.MM.dd}"
  }
}

确保 Logstash 有权限读取 /var/log/nginx/access.log（可加 group 权限或改用 systemd 日志方式）
启动 Logstash 并验证配置：logstash -f /etc/logstash/conf.d/nginx.conf --config.test_and_exit

在 Kibana 中创建索引模式并可视化

Elasticsearch 接收数据后，Kibana 需要识别索引结构才能查和画图：

访问 Kibana → Stack Management → Index Patterns → Create index pattern
输入 nginx-access-*，选择 @timestamp 作为时间字段
进入 Discover 查看原始日志，确认 clientip、status、responsetime 等字段已正确解析
常用可视化建议：

请求量趋势图：X 轴时间，Y 轴 Count，筛选器加 status: 200 或 status: [404, 500]
Top URL 表格：聚合字段 request.keyword，统计次数
响应时间分布直方图：用 responsetime 做直方图，观察 P95/P99 延迟
异常客户端 IP 列表：筛选 responsetime > 5 或 status: 404，按 clientip 分组

补充建议与注意事项

生产环境还需考虑稳定性、性能与安全：

用 Filebeat 替代 Logstash input/file（更轻量、资源占用低），Logstash 专注做解析和转发
为避免日志丢失，Nginx 开启 buffered_logs on，Filebeat 启用 close_inactive 和 harvester_buffer_size
Elasticsearch 建议设置 ILM（Index Lifecycle Management），自动删除 30 天前的索引
Kibana 中保存常用查询为 Saved Objects，方便团队复用仪表板
敏感字段（如 useragent、xff）可在 Logstash filter 中用 mutate { remove_field => [...] } 脱敏