如何通过优化Nginx的log_format引入Json格式平滑对接ELK海量日志采集

秋浩小哥_7455

秋浩小哥_7455

2026-05-31

907人浏览

原创

Nginx JSON日志是对接ELK最轻量稳定的方式,通过escape=json构造合法JSON格式,配合Filebeat直采和ES索引模板,可避免grok解析、提升性能并保障字段类型准确。

如何通过优化nginx的log_format引入json格式平滑对接elk海量日志采集

直接让 Nginx 日志以 JSON 格式输出,是对接 ELK(Elasticsearch + Logstash + Kibana)最轻量、最稳定的方式之一。无需 Logstash 做复杂 grok 解析,省去字段提取失败风险,也避免日志解析性能瓶颈。

一、定义兼容 JSON 的 log_format

Nginx 本身不原生支持 JSON 序列化,但可通过 引号转义 + 字段拼接 构造合法 JSON 字符串。关键点:所有字符串值必须双引号包裹,特殊字符(如换行、双引号)需转义,空格和制表符要规避。

推荐基础 JSON 格式示例(含常用字段):

log_format json_log escape=json '{"@timestamp":"$time_iso8601",'
    '"remote_addr":"$remote_addr",'
    '"remote_user":"$remote_user",'
    '"request":"$request",'
    '"status":$status,'
    '"body_bytes_sent":$body_bytes_sent,'
    '"http_referer":"$http_referer",'
    '"http_user_agent":"$http_user_agent",'
    '"request_time":$request_time,'
    '"upstream_response_time":"$upstream_response_time",'
    '"upstream_addr":"$upstream_addr"}';

说明:

  • escape=json 是 Nginx 1.11.8+ 引入的关键参数,自动对变量中的双引号、反斜杠、控制字符做 JSON 转义,极大降低格式损坏风险;
  • 数值型字段(如 $status、$request_time)不加引号,保持 JSON 数字类型,便于 Elasticsearch 聚合分析;
  • $upstream_response_time 可能为空或多个值(如负载均衡),建议用 "$upstream_response_time" 保留字符串形式,后续在 Logstash 或 Ingest Pipeline 中再拆分;
  • 避免使用 $args 或 $query_string 等可能含非法字符的变量,如需记录参数,应先清洗或改用结构化方式(如 OpenResty 注入)。

二、在 server 或 location 中启用该格式

只需在对应作用域中指定 access_log 使用新 format:

server {
    listen 80;
    server_name example.com;
<pre class="brush:php;toolbar:false;">access_log /var/log/nginx/access-json.log json_log;
error_log  /var/log/nginx/error.log warn;

location / {
    proxy_pass http://backend;
    proxy_set_header Host $host;
}

}

注意:

JSON Toolkit
JSON Toolkit

JSON文件多功能工具。支持格式化、验证、压缩、键排序及点记法路径查询。零依赖。

下载
  • 确保日志目录(如 /var/log/nginx/)存在且 Nginx 进程有写权限;
  • 若同时保留传统日志,可并行配置多条 access_log 指令;
  • 修改后执行 nginx -t && nginx -s reload 生效,无需重启。

三、Logstash 或 Filebeat 接收时无需 grok(推荐 Filebeat)

JSON 格式日志天然适配 Filebeat 的 json.keys_under_root 配置,可零解析直采:

filebeat.inputs:
- type: filestream
  paths:
    - /var/log/nginx/access-json.log
  json.keys_under_root: true
  json.overwrite_keys: true
  json.add_error_key: true
<p>output.elasticsearch:
hosts: ["<a href="https://www.php.cn/link/20b7a02ba34a9e26c207f81c4422cf7e">https://www.php.cn/link/20b7a02ba34a9e26c207f81c4422cf7e</a>"]
index: "nginx-access-%{+yyyy.MM.dd}"</p>

优势:

  • 跳过 Logstash 的 CPU 密集型 grok 解析,吞吐更高,延迟更低;
  • Filebeat 轻量,资源占用小,适合边缘节点部署;
  • json.add_error_key: true 可捕获解析失败事件,便于监控日志格式异常。

四、Elasticsearch 索引模板建议(防止字段动态映射错类型)

提前创建索引模板,明确关键字段类型,避免 request_time 被误识别为 text:

PUT _index_template/nginx-json-template
{
  "index_patterns": ["nginx-access-*"],
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" },
        "status": { "type": "integer" },
        "body_bytes_sent": { "type": "long" },
        "request_time": { "type": "float" },
        "upstream_response_time": { "type": "text" },
        "remote_addr": { "type": "ip" },
        "http_user_agent": { "type": "text", "fields": { "keyword": { "type": "keyword" } } }
      }
    }
  }
}

说明:

  • 将 remote_addr 设为 ip 类型,支持 IP 范围查询与地理分析;
  • 对 http_user_agent 启用 keyword 子字段,方便精确聚合(如统计 Chrome 占比);
  • 模板在首个匹配索引创建时自动生效,无需手动维护 daily 索引设置。

不复杂但容易忽略:Nginx JSON 日志不是“插件”,而是靠严谨的字符串构造 + 官方 escape 支持实现的工程实践。只要 format 定义规范、采集端配置匹配、ES 映射预设合理,就能稳定支撑每秒数万级日志接入。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.27

423

5

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4287

6

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

2023.08.04

7205

6

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

601

5

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.07.09

1516

5

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

2024.08.07

3998

3

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

2026.01.13

122

12

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

2026.01.13

597

23

Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建
Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建

本指南详解Nginx在Windows、macOS及Linux系统的安装全流程。涵盖官方包解压、Homebrew一键部署、APT/YUM源配置及Docker容器化方案。无论新手或开发者,均可快速搭建运行环境,掌握跨平台核心指令,为后续配置与调优奠定坚实基础。

2026.03.16

179

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 21.4万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 4.9万人学习