Nginx接入ELK需确保日志格式、Logstash解析与ES索引模板三者匹配：一、在nginx.conf中定义JSON日志格式并启用；二、Logstash用json codec读取，date filter校验时间；三、Kibana创建nginx-*索引模式并选@timestamp为时间字段。

YUM 安装 Nginx 后，想把它接入 ELK（Elasticsearch + Logstash + Kibana）做集中日志分析，关键不是“装完就行”，而是让 Nginx 日志格式、Logstash 解析规则、Elasticsearch 索引模板三者对得上。下面直奔实操重点。

一、确认并规范 Nginx 日志格式

Nginx 默认 access_log 是普通空格分隔格式，不利于 Logstash 解析。建议在 /etc/nginx/nginx.conf 的 http 块中定义一个 JSON 格式日志：

• 添加自定义日志格式（放在 http { ... } 内）：

log_format json '{"@timestamp":"$time_iso8601",'
'"host":"$server_addr",'
'"clientip":"$remote_addr",'
'"size":$body_bytes_sent,'
'"responsetime":$request_time,'
'"domain":"$host",'
'"url":"$request_uri",'
'"status":"$status",'
'"method":"$request_method",'
'"agent":"$http_user_agent"}';

• 在 server 或 location 块中启用该格式（替换原 access_log 行）：

access_log /var/log/nginx/access.log json;

• 重启 Nginx 生效：systemctl reload nginx
• 检查日志是否已按 JSON 输出：tail -1 /var/log/nginx/access.log（应是一行合法 JSON）

二、Logstash 配置采集与解析

假设 Logstash 已通过 YUM 安装（epel-release + logstash），配置文件放在 /etc/logstash/conf.d/nginx-to-es.conf：

• input：监听 Nginx 日志文件（注意权限，logstash 用户需可读）：

input {
file {
path => "/var/log/nginx/access.log"
start_position => "end"
sincedb_path => "/var/lib/logstash/sincedb_nginx"
codec => "json"
}
}

• filter（可选但推荐）：补时间字段、处理空值、增加标签：

filter {
if [host] {
mutate { add_field => { "[@metadata][index]" => "nginx-%{+YYYY.MM.dd}" } }
}
date { match => ["@timestamp", "ISO8601"] }
}

• output：写入本地 Elasticsearch（默认 9200）：

output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "%{[@metadata][index]}"
}
}

• 测试配置语法：sudo -u logstash /usr/share/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx-to-es.conf
• 启动 Logstash：systemctl start logstash（首次可加 --debug 查日志）

三、Elasticsearch 和 Kibana 快速联调

确保 Elasticsearch 已运行（systemctl status elasticsearch），Kibana 已配置好 elasticsearch.hosts 指向本机 ES。

• 等 Logstash 写入几条日志后，在 Kibana → Stack Management → Index Patterns 中创建索引模式：nginx-*
• 选择时间字段：@timestamp（必须匹配 JSON 中的字段名）
• 进入 Discover 页面，应能看到实时 Nginx 访问记录
• 常用看板建议：按 status 统计错误率、按 url 聚合热门接口、按 clientip 查异常访问

四、常见问题快速定位

如果日志没进 Kibana，按顺序查：

• Logstash 日志：/var/log/logstash/logstash-plain.log，看是否有 codec 解析失败或权限拒绝
• Nginx 日志权限：执行 ls -l /var/log/nginx/access.log，确保 logstash 用户（或所属组）有读权限；必要时 setfacl -m u:logstash:r /var/log/nginx/access.log
• ES 连通性：Logstash 机器上执行 curl -XGET http://localhost:9200/_cat/indices?v，确认索引是否创建
• 时间字段不识别：检查 JSON 中 "@timestamp" 字段值是否为 ISO8601 格式（如 "2024-05-20T14:22:33+08:00"），否则 date filter 会失败