go服务需暴露标准/metrics端点并用prometheus/client_golang注册指标,thanos sidecar须与prometheus同pod部署且依赖其api,query聚合时标签必须全局唯一,对象存储配置需一致,各组件须独立做健康检查与多副本。

Thanos 本身不直接运行在 Go 微服务进程内,它不替代 Prometheus 客户端库;你在 Go 服务中要做的,是正确暴露指标、确保 Prometheus 能稳定抓取,再由 Thanos Sidecar 接入该 Prometheus 实例——这才是高可用度量指标的起点。
Go 服务必须暴露 /metrics 端点且兼容 Prometheus 格式
Thanos 不解析你的业务代码,只依赖 Prometheus 抓到的数据。如果你的 Go 服务没暴露标准格式指标,Sidecar 就无数据可上传、Query 也查不到你。
- 必须用
prometheus/client_golang注册指标并挂载promhttp.Handler(),不能自己拼字符串或用非标准 JSON - 路径必须是
/metrics(或 Prometheus 配置中显式指定的metrics_path),其他路径如/actuator/metrics默认不被识别 - 响应 Content-Type 必须为
text/plain; version=0.0.4(Prometheus 标准格式),返回 HTML 或 JSON 会直接报错expected text/plain; got application/json - 避免在 handler 中 panic 或阻塞:一个 goroutine 崩溃会导致整个
/metrics抓取失败,Prometheus 标记该 target 为 DOWN,Thanos 后续也无法读取实时数据
Thanos Sidecar 必须与 Prometheus 实例同 Pod 部署,不能跨节点
Sidecar 通过本地环回(localhost:9090)连接 Prometheus API,不是靠服务发现或 DNS。如果部署分离,thanos sidecar 启动时会报 failed to query Prometheus: Get "http://localhost:9090/api/v1/status/config": dial tcp 127.0.0.1:9090: connect: connection refused,且无法恢复。
- Kubernetes 中必须将
thanos-sidecar容器与prometheus-server放在同一个 Pod,共享 network namespace - Sidecar 的
--prometheus.url参数默认就是http://localhost:9090,不要改成http://prometheus.default.svc.cluster.local:9090—— 这会绕过 localhost,触发 DNS 解析失败或网络策略拦截 - 确认 Prometheus 已启用
--web.enable-admin-api(Sidecar 需调用/api/v1/admin/tsdb/snapshot等管理接口)
Query 层聚合多集群指标时,Go 服务标签必须全局唯一且可区分
Thanos Query 合并来自不同集群的相同指标(如 http_requests_total)时,靠标签去重和分组。如果所有 Go 服务都打上 job="go-service" 却没加 cluster 或 region,Query 会把 A 集群和 B 集群的请求计数简单相加,造成严重误报。
- 在 Prometheus 抓取配置中,用
relabel_configs注入拓扑标签:cluster、availability_zone、namespace - 避免在 Go 代码里硬编码
prometheus.NewCounterVec(..., []string{"job", "instance"})——instance是 Prometheus 自动填的host:port,若服务动态扩缩,该值高频变化,导致 cardinality 爆炸 - 推荐在采集层统一注入业务维度标签(如
service="order-api",env="prod"),而不是让每个 Go 服务自己 setLabel
长期存储依赖对象存储配置,Go 服务不参与但影响告警可靠性
Go 服务本身不连 S3/GCS,但 Thanos Ruler 和 Alertmanager 的行为直接受存储延迟和一致性影响。如果 Compactor 未完成下采样,Ruler 查询最近 2 小时数据可能 fallback 到 Store Gateway,而后者从对象存储拉块若超时,ALERTS{alertstate="firing"} 就会漏判。
- 确认对象存储 endpoint、region、credentials 对所有 Thanos 组件(Sidecar/Compactor/Store Gateway)一致,尤其注意 IAM 权限是否允许
s3:GetObject和s3:ListBucket - Ruler 的
--rule-file必须指向 ConfigMap 挂载路径,不能写死在容器镜像里;否则滚动更新规则后,Ruler 不会自动 reload - Go 服务里的告警逻辑(如手动发 webhook)应视为兜底,而非主力——Thanos Ruler 才是全局、去重、静默后的权威告警源
最容易被忽略的是:Thanos 的“高可用”不等于“自动修复”。Sidecar 崩溃不会让 Prometheus 停止工作,但会中断块上传和实时查询;Query 实例挂掉只是查询不可用,不影响数据写入——这些组件必须各自做 readiness probe + 多副本,不能只靠 Thanos 自身机制兜底。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!











