file_sd_configs实现轻量级动态发现，prometheus定期轮询指定yaml/json文件自动加载targets，增删节点免重启、无需重载服务。
静态配置每台 Linux 节点的 IP 和端口，适合小规模、变动少的环境；但节点频繁增减时，反复改 prometheus.yml 并重载服务，既容易出错，也难以维护。真正可落地的动态采集，关键在于让 Prometheus 自动感知目标变化——不靠人改配置，而靠机制自动同步。
用 file_sd_configs 实现轻量级动态发现
无需额外组件，仅靠本地文件就能实现“增删节点免重启”。Prometheus 会定期轮询指定 YAML 或 JSON 文件，自动加载 targets 列表。
- 在
prometheus.yml中配置如下（注意缩进）：
- job_name: "linux-servers"
file_sd_configs:
- files: ["/etc/prometheus/file-sd.yaml"]
- 创建
/etc/prometheus/file-sd.yaml，内容示例：
- targets: ["192.168.93.102:9100", "192.168.93.103:9100"]
labels:
env: prod
role: backend
- 新增节点时，只需往该 YAML 文件追加 IP:9100，保存后 Prometheus 会在下次 scrape 周期（默认 30s）自动识别，无需手动 reload；也可用
curl -X POST http://localhost:9090/-/reload立即生效 - 适用于中小规模集群，或作为 Consul 的低成本替代方案
用 Consul 实现分布式自动注册与发现
当节点数量多、部署分散、或需按服务类型分组管理时，Consul 提供中心化注册+健康检查能力，更贴近生产场景。
Linux Ai Server
下载
Linux AI 服务器 — 将 Linux 服务器转换为本地 AI 推理集群。使用 systemd、NVIDIA CUDA 实现无头 Linux AI，零 GUI 开销。
- 所有被监控节点运行
node_exporter后，通过 Consul agent 注册自身服务（例如注册为node-exporter服务，并带上标签如env=prod、region=sh） - Prometheus 配置中启用 Consul SD：
- job_name: "node-exporter"
consul_sd_configs:
- server: "192.168.93.101:8500" # Consul Server 地址
services: ["node-exporter"]
relabel_configs:
- source_labels: [__meta_consul_service_address, __meta_consul_service_port]
target_label: __address__
replacement: "$1:$2"
- 节点下线时，Consul 会自动剔除失效实例；上线时注册即被发现——整个过程对 Prometheus 完全透明
- 支持按服务名、标签、数据中心等维度灵活过滤，适合混合云或跨机房架构
确保 node_exporter 正常暴露指标
无论哪种发现方式，前提是每个 Linux 节点已正确部署并运行 node_exporter，且网络可达。
- 启动命令建议使用 systemd 管理，保证开机自启：
sudo systemctl start node_exporter sudo systemctl enable node_exporter
- 验证是否就绪：在 Prometheus 服务器上执行
curl http://192.168.93.102:9100/metrics | head -n 5，能返回文本格式指标即正常 - 防火墙需放行 9100 端口（仅对 Prometheus 服务器开放即可，非全网开放）
- 若使用主机名而非 IP，确保 Prometheus 服务器能解析对应域名（推荐优先用 IP，避免 DNS 单点依赖）
验证与调试技巧
动态发现是否生效，不能只看配置写对了，要从 Prometheus 内部确认实际加载结果。
- 访问
http://<prometheus-ip>:9090/targets</prometheus-ip>，查看对应 job 下 targets 状态是否为 UP；若显示 DOWN，点击右侧“Logs”查看具体错误（常见如连接拒绝、超时、证书问题） - 用 PromQL 查询
count by (job, instance) (up{job="linux-servers"})，快速统计当前活跃节点数 - 修改 file-sd 文件后，可通过
curl -X POST http://localhost:9090/-/reload触发重载，并观察日志level=info msg="Completed reloading configuration"是否出现
