全网pod待重启状态前置告警需基于kube-state-metrics的restarts_total指标，用prometheus识别短周期内重启增速异常（5分钟≥3次且增幅>100%），并聚合判断deployment下超30% running pod符合该模式，同时过滤滚动更新等健康重启场景。
要实现对“全网Pod待重启状态”的前置告警，核心是利用 kube-state-metrics 提供的 kube_pod_container_status_restarts_total 指标，结合 Prometheus 的瞬时速率与变化趋势判断“即将频繁重启”这一异常模式，而非仅看历史累计值。这属于典型的“行为异常预警”，需避免误报（如初始化重启）和漏报（如缓慢恶化）。
明确监控目标：什么是“待重启状态”
“待重启状态”不是 Kubernetes 原生状态（如 Pending、CrashLoopBackOff），而是指 Pod 容器在短周期内重启次数持续上升，预示即将进入不稳定循环。关键识别逻辑：
- 单个容器最近 5 分钟重启次数 ≥ 3 次，且较前 5 分钟增长 >100%
- 同一 Deployment 下超过 30% 的 Pod 出现上述行为
- 排除已知健康重启（如滚动更新期间的主动删除）——需通过标签过滤
确保 kube-state-metrics 正确暴露指标
确认部署中已启用必要配置，否则指标缺失将导致告警失效：
- 使用支持
v2.10+的镜像（如quay.io/prometheus-operator/kube-state-metrics:v2.12.0），旧版不支持restarts_total的 per-container 维度 - Deployment 中需保留容器级指标开关：
--metric-filter=+kube_pod_container_status_restarts_total - Service 必须可被 Prometheus 访问，端口为
8080（metrics 端点），建议加 readinessProbe 避免抓取未就绪实例
编写精准的 PromQL 告警表达式
以下规则聚焦“前置性”，不依赖绝对阈值，而是捕捉异常增速：
-
单 Pod 异常重启增速：
rate(kube_pod_container_status_restarts_total[5m]) > 0.01 and delta(kube_pod_container_status_restarts_total[5m]) > 2
→ 表示每分钟平均重启超 0.01 次（即 5 分钟 ≥ 3 次），且相比上一窗口净增 ≥ 3 次 -
集群范围聚合预警：
count by (namespace, pod) (rate(kube_pod_container_status_restarts_total[5m]) > 0.01) > 0 and count by (namespace, deployment) (rate(kube_pod_container_status_restarts_total[5m]) > 0.01) / on(namespace, deployment) group_left count by (namespace, deployment, pod) (kube_pod_status_phase{phase="Running"}) > 0.3
→ 同一 Deployment 下，超 30% 的 Running Pod 出现短时高频重启
告警规则配置与降噪
在 alert.rules 中定义，并关联关键上下文：
- 添加
for: 2m：避免瞬时抖动触发（如网络短暂超时） - 设置
labels包含：severity: warning（前置告警用 warning，非 critical）、pod、namespace、deployment - 在
annotations中写明诊断线索：summary: "Pod {{ $labels.pod }} in {{ $labels.namespace }} shows abnormal restart pattern"description: "Restart rate is {{ $value | printf \"%.2f\" }}/min — check liveness probe, resource limits or application health" - 通过
matchers过滤掉滚动更新流量：job="kube-state-metrics", container!="POD", kubernetes_io_os!="windows"
