elk处理nginx日志的关键是源头结构化：nginx输出json日志，filebeat采集并直解析，logstash增强字段（geoip、useragent、类型校准），elasticsearch预设索引模板确保status为integer、latency为float、@timestamp为date，kibana据此正确可视化。
用 ELK 处理 Nginx 日志，关键不是堆组件，而是让日志从源头开始就“可被机器理解”，再经稳定管道送入搜索与展示层。整个链路环环相扣，任一环节格式或配置不匹配，都会导致字段丢失、时间错乱或图表空白。
让 Nginx 输出结构化日志
Nginx 默认的 access.log 是空格分隔的纯文本，Logstash 或 Filebeat 很难稳定提取字段。最稳妥的做法是改用 JSON 格式，避免歧义和正则误匹配。
- 在 nginx.conf 的 http 块中添加自定义 log_format：
log_format json_escape escape=json '{'"@timestamp":"$time_iso8601",' "clientip":"$remote_addr",' "method":"$request_method",' "uri":"$request_uri",' "status":$status,' "latency":$request_time,' "referer":"$http_referer",' "agent":"$http_user_agent"}';
- 在 server 或 location 块中启用：access_log /var/log/nginx/access.log json_escape;
- 执行 nginx -t && systemctl reload nginx 生效
选择采集器：Filebeat 更轻量，Logstash 更灵活
实际生产中推荐 Filebeat 作为第一道采集器，它资源占用低、启动快、支持 JSON 直解析；Logstash 留给需要深度加工（如 geoip、useragent、状态码翻译）的场景。
- Filebeat 配置要点（/etc/filebeat/filebeat.yml）：
filebeat.inputs:
- type: filestream
paths: ["/var/log/nginx/access.log"]
json.keys_under_root: true
json.add_error_key: true
output.logstash:
hosts: ["logstash:5044"]
- 若直接连 Elasticsearch（跳过 Logstash），把 output 换成 elasticsearch，并指定 index 名为 nginx-access-%{+yyyy.MM.dd}
Logstash 做字段增强与类型校准
即使用了 JSON 日志，Logstash 仍承担关键角色：补充地理位置、解析 UA、统一时间戳、强制字段类型——这些直接影响 Kibana 中的聚合与排序是否准确。
- 典型 filter 段示例：
filter {
geoip { source => "clientip" target => "geo" }
useragent { source => "agent" target => "ua" }
mutate { convert => ["status", "integer"] convert => ["latency", "float"] }
date { match => ["@timestamp", "ISO8601"] }
}
- output 中 index 名建议带日期：nginx-access-%{+YYYY.MM.dd}，便于按天滚动和清理
Kibana 可视化前的关键准备
字段类型错误是 Kibana 图表“没数据”的最常见原因。比如 status 被识别成 text，就无法做柱状图统计；latency 是 keyword 就不能算平均值。
- 提前创建 Elasticsearch 索引模板，明确定义 status 为 integer、latency 为 float、@timestamp 为 date
- Kibana 中新建 Index Pattern 时，选中 nginx-access-*，并指定 @timestamp 为时间字段
- 首次加载数据后，在 Stack Management > Index Patterns > Field list 中检查关键字段类型是否正确
