grafana云原生拓扑图用于实时定位k8s微服务中响应慢的具体环节，节点大小表p95延迟、颜色表错误率、连线粗细表调用量，需指标与trace标签对齐（如service.name）才能下钻根因分析。
看 Grafana 拓扑热区，先定位慢节点在哪一层
响应慢不是“整个服务变慢”，而是某条调用链路上的某个环节拖了后腿。Grafana 云原生拓扑图不是装饰品，关键要看节点大小（P95 延迟）和颜色（错误率）是否异常。比如 order-service 节点明显放大且偏红，说明它自身处理慢或出错多；如果 order-service 到 user-service 的连线特别粗、边上标着 800ms P95，那问题大概率在下游。
必须确保 Prometheus 指标带齐标签：service.name、http.route、net.peer.name，否则拓扑无法关联到具体服务实例。Tempo 的 trace span 也要有相同 service.name，才能下钻查根因。
- 拓扑里节点没数据？检查 Kratos 服务是否启用了 OpenTelemetry 中间件，且 exporter 配置指向了 Tempo
- 连线方向反了？确认 HTTP/gRPC 客户端调用时传入的
context.WithValue没覆盖掉自动注入的元数据 - 延迟数值恒定为 0？可能是指标采集未开启，或
http_request_duration_seconds的le分桶配置过窄
查单条 Trace，确认是网络、序列化还是业务逻辑慢
在 Grafana Explore 里用 Tempo 查一条高延迟 trace，重点看 span duration 分布：
- 最外层
grpc.server或http.serverspan 很长，但子 span 加起来很短 → 可能是连接建立慢、TLS 握手卡住，或 gRPC 流控触发了 backpressure - 某个
data.db.queryspan 占比超 70% → 直接去查 SQL 执行计划，别在代码里盲猜 - 多个
grpc.clientspan 连续出现 timeout → 不是下游慢，是本服务并发打爆了连接池，或客户端 keepalive 配置不合理导致连接频繁重建
Kratos 默认不透传所有 context.Value，若你在中间件里用 context.WithValue(ctx, key, val) 存了自定义字段，得手动加进 metadata.Metadata，否则 trace 里看不到真实上下文。
抓连接状态，排除 gRPC 空闲连接被中间件静默断开
现象是偶发性 connection closed before server preface received 或 transport is closing，尤其在 Istio/Envoy 后面部署时。这不是代码 bug，是 gRPC 两端心跳没对齐。
必须两端都配 KeepaliveParams：
- 服务端：在
grpc.NewServer()里传入grpc.KeepaliveParams，设MaxConnectionIdle≤ 30s（小于 Envoy 默认 idle timeout），MaxConnectionAge≤ 10m - 客户端：在
grpc.Dial()里加grpc.WithKeepaliveParams，Time设为服务端MaxConnectionIdle的一半，且PermitWithoutStream必须为true - 别碰系统级
SO_KEEPALIVE—— Kratos 和 gRPC 协议栈完全不读这个，纯属干扰项
漏配服务端参数是最常见原因：客户端拼命发心跳，服务端直接无视，连接在 LB 层就被干掉了。
盯住资源初始化顺序，避免 readiness probe 误判
K8s 的 readinessProbe 如果只调 /health，而 /health 又依赖 DB/Redis 连通性，那服务启动时就可能反复失败重启。Kratos 的 health.Checker 接口必须按真实依赖顺序实现。
- DB 连接池没 ready？
/health返回 503，哪怕 HTTP Server 已监听 - Redis 断连但业务可降级？Checker 里要区分 critical 和 non-critical 依赖，别让一个缓存抖动拖垮整个服务上线
- 注册中心（如 Nacos/Etcd）连不上？不能等
registry.Register成功才开放健康端点，否则 K8s 认为服务不可用，永远不转发流量
最容易被忽略的是：Kratos app.Run 默认不接管生命周期，WithBeforeStop 和 WithAfterStop 必须显式注册，否则服务退出时 DB 连接没关、注册中心残留元数据，下次启动可能抢不到 leader 或连不上旧连接池。
