实现特定路径502分钟级环比预警，需构建“nginx日志采集→结构化解析→时序聚合→异常识别→告警闭环”链路：一、自定义json日志含path/status/time/upstream_time；二、kibana中按路径做分钟级count聚合并计算delta或同比增幅；三、用elasticsearch alerting配置阈值触发（如count>10或增幅>200%）；四、叠加health/actuator过滤及upstream_time>0条件降低误报。
要实现对特定业务路径的 502 状态码进行分钟级环比趋势预警，核心不是“画图”，而是构建一条从 Nginx 日志采集 → 结构化解析 → 时序聚合 → 异常识别 → 可视化与告警的闭环链路。Kibana 本身不生成预警逻辑，它负责展示和触发告警（需配合 Elasticsearch 的 Watcher 或 Alerting 功能），真正起作用的是日志结构、查询口径和环比计算方式。
一、确保 Nginx 日志包含必要字段
默认 access log 不含 status 精确到路径的维度，必须自定义 log_format，并确保记录：请求路径（$request_uri 或 $uri）、状态码（$status）、时间戳（$time_iso8601）、上游响应时间（$upstream_response_time）等关键字段。示例：
log_format main_json
'{\"@timestamp\":\"$time_iso8601\",'
'\"path\":\"$request_uri\",'
'\"status\":$status,'
'\"upstream_time\":\"$upstream_response_time\",'
'\"remote_addr\":\"$remote_addr\"}';
access_log /var/log/nginx/access.log main_json;
重点：
• 使用 $request_uri（含 query 参数）或 $uri（不含 query）按业务需求选；
• 确保日志实时写入（禁用 buffer）或使用 filebeat 的 close_inactive 控制刷盘频率；
• 若用 Nginx Proxy Manager，需确认其日志模板已启用对应字段（参考其 proxy-host-*.log 中是否含 status 和 uri）。
二、在 Kibana 中建立精准的 502 聚合查询
不依赖“全局 502 总数”，而是针对具体路径（如 /api/order/submit）做分钟级统计，并与前一分钟对比。操作步骤：
- 在 Kibana Discover 中筛选：status: 502 AND path: "/api/order/submit*"
- 切换到 Visualize → Lens → 选择 time-series 类型图表
- X-axis 设为 Date Histogram（interval: 1m）
- Y-axis 设为 Count，再添加一个 “Formula” 指标：
delta(count())或更稳妥的：count() - overall_average(count(), shift=1m)
（Elasticsearch 8.x+ 支持 shift，可直接比前1分钟均值） - 为该指标设置阈值线，例如：delta > 5 或 同比增幅 > 200%
三、配置分钟级环比告警（基于 Elasticsearch Alerting）
Kibana 的 Alerting 功能可基于上述查询自动触发通知。关键配置项：
-
Trigger condition：选择 “Threshold” → “Count of documents” 或 “Custom expression”
示例表达式：params.count > (params.prev_count * 3) || params.count > 10
（其中 prev_count 来自上一分钟聚合结果） - Schedule：Interval 设为 1m（注意：实际执行间隔受 Elasticsearch 集群负载影响，建议设为 30s~1m）
-
Alert context：在消息模板中嵌入：
路径 {{ctx.results.0.path}} 在 {{ctx.trigger.triggered_time}} 分钟内出现 {{ctx.results.0.count}} 个 502，较前一分钟增长 {{ctx.results.0.delta}} 个 - Actions：支持邮件、Slack、Webhook（可对接钉钉/企微机器人）
四、避免误报的三个实操细节
单纯看 502 数量易被爬虫、探测流量干扰，需叠加业务语义过滤：
-
排除非业务请求：在查询中加条件
NOT path: "/health" AND NOT path: "/actuator" - 过滤无效 502：只统计 upstream_time > 0 的记录（排除因连接拒绝导致的瞬时 502，这类通常伴随 "connection refused" 错误日志）
- 结合上游状态：若日志中有 upstream_addr 字段，可关联判断是否集中于某台后端实例——这比单纯看 502 更早暴露节点故障
