ELK分析Nginx日志需三步：1.自定义JSON格式日志便于解析；2.Logstash配置input/filter/output实现采集与转发；3.预置ES索引模板并配置Kibana索引模式与可视化看板。
ELK（Elasticsearch + Logstash + Kibana）是分析 Nginx 日志最常用的一体化方案，核心在于将 Nginx 的 access.log 和 error.log 实时采集、结构化解析、存储并可视化。集成不难，但关键点在于日志格式匹配、Logstash 过滤配置和 Elasticsearch 索引模板适配。
确保 Nginx 日志格式可解析
Nginx 默认的 log_format 通常不够结构化，建议自定义为 JSON 或带明确分隔符的格式，便于 Logstash 提取字段：
- 在 nginx.conf 的 http 块中添加：
' "remote_addr":"$remote_addr",'
' "remote_user":"$remote_user",'
' "body_bytes_sent":$body_bytes_sent,'
' "request_time":$request_time,'
' "status":$status,'
' "request":"$request",'
' "http_referrer":"$http_referer",'
' "http_user_agent":"$http_user_agent"}';
然后在 server 或 location 块中启用：access_log /var/log/nginx/access.log json_log;
这样每行日志都是合法 JSON，Logstash 可直接用 json 插件解析，避免正则提取错误。
Logstash 配置：采集 + 解析 + 转发
Logstash 配置分为 input、filter、output 三部分：
-
input：使用
file插件监听日志文件，开启start_position => "end"防止重读历史；加sincedb_path持久化偏移量 -
filter：若用 JSON 格式，只需
json { source => "message" }；若仍用默认文本格式，则需grok匹配（推荐用 Grok Debugger 测试表达式） -
output：指向 Elasticsearch，指定 index 名（如
"nginx-%{+YYYY.MM.dd}"），并确保 hosts 可达
注意：Logstash 启动前确认 Elasticsearch 已运行，且索引模板已预置（见下一点）。
预置 Elasticsearch 索引模板与 Kibana 索引模式
直接写入会导致字段类型推断不准（例如 status 被识别为 text），引发聚合失败或排序异常：
- 准备一个
nginx-template.json，定义status、body_bytes_sent、request_time等字段为integer或float - 用 curl 加载模板：
curl -XPUT 'http://localhost:9200/_template/nginx' -H 'Content-Type: application/json' -d @nginx-template.json - Kibana 中进入 Stack Management > Index Patterns，创建名为
nginx-*的模式，选择@timestamp作为时间字段
模板生效后，新创建的每日索引会自动继承字段映射，保障查询和图表稳定性。
Kibana 可视化与告警基础设置
数据就绪后，快速构建核心看板：
- 用 Discover 验证字段是否完整、时间是否对齐
- 在 Visualize Library 中创建：QPS 曲线（Date Histogram + Count）、状态码分布（Pie / Terms on status）、慢请求 TopN（Top Values on request，按 request_time 排序）
- 用 Alerting（需启用 xpack 或升级到 7.10+）设置阈值告警，例如 5xx 错误率突增或平均 request_time 超过 2s
首次部署建议先跑通单机 ELK（Docker Compose 即可），再根据吞吐量横向扩展 Logstash 实例或启用 Filebeat 替代 Logstash 做轻量采集。
