Nginx 结合 ELK 实战：利用 Filebeat 实时采集 Nginx JSON 日志-Nginx-PHP中文网

关键在于三步对齐：Nginx输出结构化JSON、Filebeat正确解析提字段、Logstash或ES不破坏原始结构；任一环节出错会导致字段丢失、时间错乱、中文乱码或Kibana中字段未分配。

nginx 结合 elk 实战：利用 filebeat 实时采集 nginx json 日志

要让 Nginx 日志顺利进入 ELK 并在 Kibana 中可查、可画图、可筛选，关键不是堆组件，而是三步对齐：Nginx 输出结构化 JSON、Filebeat 正确识别并提字段、Logstash（或 ES）不破坏原始结构。跳过任一环，都会出现字段丢失、时间错乱、中文乱码或 Kibana 里全是 unassigned 字段的问题。

Nginx 配置 JSON 日志格式

默认的 combined 日志是纯文本，靠 Logstash 正则解析，既慢又易错。直接在 Nginx 中定义 JSON 格式，让每条日志本身就是合法 JSON 对象，后续处理压力大幅降低。

编辑 /etc/nginx/nginx.conf，在 http 块内添加自定义 log_format：

log_format json_log escape=json '{' '"@timestamp":"$time_iso8601",' '"client_ip":"$remote_addr",' '"method":"$request_method",' '"uri":"$request_uri",' '"status":$status,' '"bytes_sent":$body_bytes_sent,' '"request_time":$request_time,' '"referer":"$http_referer",' '"user_agent":"$http_user_agent",' '"x_forwarded_for":"$http_x_forwarded_for"' '}';

将 access_log 指向该格式：access_log /var/log/nginx/access.log json_log;
执行 nginx -t && nginx -s reload 生效
用 tail -1 /var/log/nginx/access.log 确认输出是单行、无换行、符合 JSON 语法的字符串（注意：不要有尾随逗号、引号要闭合、数字字段不加引号）

Filebeat 正确解析 JSON 字段

Filebeat 默认把整行当字符串塞进 message 字段。要让它“拆开”JSON 并映射为独立字段，必须启用 JSON 解析，并控制字段归属。

arcgis-js

提供 ArcGIS Maps SDK for JavaScript 开发辅助，涵盖 2D/3D 地图视图、图层管理、数据可视化、空间分析等功能模块的参考和示例指导。

下载

在 filebeat.inputs 下对应 Nginx 日志路径的配置块中，加入：

json.keys_under_root: true
json.overwrite_keys: true
json.add_error_key: true

keys_under_root: true 表示把 JSON 内部字段（如 status、client_ip）直接提到根层级，而不是嵌套在 json. 下
overwrite_keys: true 防止同名字段冲突（比如 Nginx 日志里有 status，Filebeat 自身也可能生成 status）
add_error_key: true 可捕获解析失败时的错误信息，便于排障
确保 paths 指向的是上一步配置的 JSON 日志文件路径（如 /var/log/nginx/access.log）

Logstash 或直连 ES 的适配要点

如果使用 Logstash 做中间处理，它的配置需与 Filebeat 输出保持一致；如果 Filebeat 直连 Elasticsearch，则要注意索引模板和时间字段。

若走 Logstash：Input 插件接收 Filebeat 发来的数据后，无需再做 JSON 解析（因为 Filebeat 已完成），重点放在过滤脏数据、补充地理信息、标准化状态码等业务逻辑
若直连 ES：@timestamp 字段必须存在且为 ISO8601 格式（Nginx 的 $time_iso8601 已满足），否则 Kibana 无法按时间排序或绘图
建议在 Filebeat 配置中显式设置时间字段：processor.timestamp: + event.dataset: nginx.access，方便 Kibana 创建索引模式时自动识别
首次启动后，检查 Kibana 的 Stack Management → Index Patterns，确认新索引（如 filebeat-*）已加载，且 @timestamp 被识别为时间字段