怎么用标准的 Thread.getState() 实时抓取并展现当前高并发系统有多少线程正在因为等待下游 RPC 响应而 TIMED_WAITING

雨伟吖_3268

雨伟吖_3268

2026-05-30

748人浏览

原创

thread.getstate() 无法识别 rpc 等待语义,因其仅返回 jvm 层状态(如 timed_waiting),而该状态可能源于 sleep、wait、rpc 客户端超时等待或连接池阻塞等多种场景,缺乏业务上下文;需结合线程栈匹配 rpc 框架特征方法或使用框架原生监控指标精准归因。

不能直接用 thread.getstate() 区分“因等待下游 rpc 响应”而进入 timed_waiting 的线程。

为什么 Thread.getState() 无法识别 RPC 等待语义

Thread.getState() 只返回 JVM 级别的线程状态(如 TIMED_WAITING),不包含业务上下文。同一个 TIMED_WAITING 状态可能来自:

  • 调用 Object.wait(timeout)
  • 调用 Thread.sleep(ms)
  • Netty/OkHttp/gRPC 客户端内部的超时等待(如 ScheduledFuture.cancel()、ChannelPromise.await(timeout))
  • 数据库连接池获取连接时的阻塞等待(如 HikariCP 的 connectionTimeout)

这些行为在 JVM 层都表现为 TIMED_WAITING,但只有其中一部分真正对应“等待下游 RPC 响应”。光靠状态码无法归因。

可行方案:结合线程栈 + RPC 框架特征识别

需在 TIMED_WAITING 线程中检查其堆栈,匹配典型 RPC 客户端的等待帧。例如:

  • gRPC Java:查找 io.grpc.internal.DelayedClientTransport.startNewRpc 或 AbstractStream$State.notifyIfReady 后跟 LockSupport.parkNanos
  • OpenFeign + OkHttp:查找 okhttp3.RealCall.getResponseWithInterceptorChain + java.util.concurrent.SynchronousQueue.poll
  • Dubbo:查找 org.apache.dubbo.rpc.protocol.AbstractInvoker.invoke + java.util.concurrent.Future.get(timeout, unit)
  • Spring Cloud LoadBalancer + WebClient:查找 reactor.netty.http.client.HttpClientConnect$MonoHttpConnect.subscribe + reactor.core.publisher.MonoDelay.subscribe

实际代码中可遍历所有线程,过滤出 TIMED_WAITING,再用正则或字符串匹配关键类/方法名:

long rpcWaitingCount = Thread.getAllStackTraces().entrySet().stream()
    .filter(e -> e.getKey().getState() == Thread.State.TIMED_WAITING)
    .filter(e -> {
        StackTraceElement[] stack = e.getValue();
        return Arrays.stream(stack).anyMatch(frame ->
            frame.getClassName().contains("grpc") && frame.getMethodName().contains("park")
            || frame.getClassName().contains("okhttp") && frame.getMethodName().equals("poll")
            || frame.getClassName().contains("dubbo") && frame.getMethodName().equals("get")
        );
    })
    .count();

更可靠的做法:依赖 RPC 框架自身的监控指标

硬解析线程栈易误判、性能差、版本兼容性弱。推荐优先使用框架原生指标:

  • gRPC:启用 ManagedChannelBuilder.usePlaintext().intercept(new ClientInterceptor(){...}),在拦截器中统计 PendingCall 数;或采集 grpc_client_pending_rpcs(Prometheus)
  • Dubbo:通过 RegistryProtocol.export() 或 MetricsService 查询 consumer.pending 指标
  • Spring Cloud OpenFeign:集成 Micrometer,配置 feign.client.config.default.connectTimeout 并暴露 http.client.requests 中带 status=timeout 或 outcome=CLIENT_ERROR 的计数器
  • 自研 SDK:在发起 RPC 前打点(rpcStart(id)),收到响应或超时后清除(rpcEnd(id)),用 ConcurrentMap 统计实时 pending 数

生产环境建议:聚合 + 告警 + 可视化

不要只看瞬时值。应:

  • 每 5–10 秒采样一次,计算滑动窗口内平均 pending RPC 数
  • 当该数值持续 > 阈值(如 200)且伴随下游成功率下降、P99 延迟上升时触发告警
  • 在 Grafana 中将该指标与 jvm_threads_states_threads{state="timed_waiting"}、rpc_client_outgoing_requests_seconds_count{outcome="timeout"} 同屏对比
  • 点击异常高值时,下钻查看对应线程栈快照(可通过 jstack -l <pid></pid> 或 Arthas thread -n 20 -state TIMED_WAITING)

本质上,这不是一个“调个 API 就能解决”的问题,而是需要把线程状态、RPC 生命周期、可观测性体系打通来定位真实瓶颈。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

9997

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

7142

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

6292

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1084

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

908

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1316

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2629

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

19951

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1175

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习