prometheus 配置需先用 --dry-run 校验语法，scrape_configs 中 localhost:9090 采集不到自身指标应改用 127.0.0.1 或宿主机 ip，alert.rules.yml 要求数组路径、groups 结构及合法 alert 名，alertmanager 的 group_wait 和 repeat_interval 决定告警频率。

Prometheus 不是装上就能用的监控系统，它本身不带告警功能，报警靠 Alertmanager；配置文件写错一个缩进，prometheus 就起不来；直接用默认配置跑在生产环境，不出三天磁盘就被时间序列数据占满。

怎么验证 prometheus 配置文件语法是否合法

别急着 systemctl start prometheus，先检查配置。Prometheus 自带校验工具，但很多人漏掉这步，结果日志里只看到 failed to load configuration，根本不知道哪行错了。

• 运行 prometheus --config.file=/etc/prometheus/prometheus.yml --dry-run，返回 0 表示语法通过
• --dry-run 不加载目标、不拉取指标，纯做 YAML 解析和规则校验
• 常见报错如 yaml: line 12: did not find expected key，基本是缩进用了 tab 而不是空格，或 scrape_configs 下少了个 -
• 如果用 Ansible 或 CI/CD 自动部署，建议把 --dry-run 加进 pre-check 步骤

为什么 scrape_configs 里 target 写 localhost:9090 会采集不到自身指标

因为 Prometheus 默认监听 localhost:9090，但它的 scrape 请求走的是服务所在机器的网络栈——如果 prometheus 运行在容器或远程服务器上，localhost 指的是容器内部或远端机器的回环地址，不是你本机的 Prometheus 实例。

• 本地单机部署时，应写 host.docker.internal:9090（Docker Desktop）或宿主机真实 IP（如 192.168.1.100:9090）
• 更可靠的做法是启用 self-scraping：在 scrape_configs 中明确用 static_configs 指向 127.0.0.1:9090，并确保 prometheus 启动时绑定 --web.listen-address="0.0.0.0:9090"
• 注意 honor_labels: true 可能覆盖 job 和 instance 标签，导致目标识别混乱

alert.rules.yml 加载后没生效？检查这三个地方

Prometheus 支持热加载规则，但规则文件路径、格式、引用方式任意一个出错，alerts 页面就为空，ALERTS 指标也不涨。

• 确认 prometheus.yml 中 rule_files 是数组形式：rule_files: ["/etc/prometheus/alert.rules.yml"]，不能写成字符串
• alert.rules.yml 文件必须以 groups: 开头，每个 group 包含 name 和 rules，缺一不可；alert 名称不能含空格或点号（如 CPU Usage High 或 cpu.usage.high 都非法）
• 改完规则后执行 curl -X POST http://localhost:9090/-/reload（需开启 --web.enable-lifecycle），别只改文件就以为生效了
• 如果 Alertmanager 地址配错，Prometheus 日志里不会报错，但 ALERTS{alert_state="firing"} 会一直为 0

Alertmanager 配置里最容易被忽略的 repeat_interval 和 group_wait

这两个参数决定你收到多少条重复告警邮件，而不是“有没有告警”。很多团队配置完发现每分钟收 10 封 CPU 告警，其实是没调好分组与重发策略。

• group_wait: 30s 表示新告警进来后，等 30 秒看有没有同组其他告警一起发，避免碎片化通知
• group_interval: 5m 是同一组告警再次发送的最小间隔（比如某台机器持续高负载，5 分钟发一次汇总）
• repeat_interval: 4h 是“该告警已恢复又触发”时，才重新开始计时；若一直 firing，不会按这个间隔重复发
• 邮件模板里用 {{ .Labels.instance }} 而不是 {{ .Labels.hostname }}——后者根本不存在，Prometheus 不会自动注入这个 label

真正难的不是把 Prometheus 跑起来，而是让它的 up 指标稳定、scrape_duration_seconds 不抖动、rule evaluation 不超时。这些细节藏在 /metrics 接口里，而不是文档首页。