高并发流式指标用于实时捕捉连接泄漏而非预测句柄锁死，核心是构建连接态、句柄态、行为态三类与长连接生命周期强耦合的流式信号，并通过prometheus+grafana实现两级告警。
高并发流式指标不是用来“预测”句柄锁死的，而是用来在真实流量下“实时捕捉”连接泄漏的起点和恶化节奏。关键不在于堆砌QPS、RT等通用指标，而在于构建与长连接生命周期强耦合的三类流式信号：连接态、句柄态、行为态。
连接态指标：盯住ESTABLISHED/CLOSE_WAIT的实时分布
这不是简单统计总数，而是按秒级滑动窗口（如30秒）持续采样：
- 每秒采集
ss -tn state established | grep :<port> | wc -l</port>，绘制ESTABLISHED连接数时序曲线；若曲线在流量平稳期仍持续爬升，说明新连接不断建立但旧连接未关闭 - 同步采集
ss -tn state close-wait | grep :<port> | wc -l</port>，CLOSE_WAIT > 50且持续超10秒，基本可判定对端已发FIN、本端未调用close()，是典型的释放遗漏 - 对每个客户端IP+端口组合做轻量聚合，识别“单IP持有超20个ESTABLISHED连接”的异常源——这往往是分治上传任务未回收连接的直接证据
句柄态指标：绑定进程PID做fd水位动态比对
避免只看全局ulimit，要聚焦具体工作进程：
- 每5秒执行
lsof -p $(pidof your-app) 2>/dev/null | wc -l，同时读取/proc/$(pidof your-app)/limits | awk '/Max open files/{print $4}'，计算当前fd使用率（如92%） - 当使用率连续3次 ≥85%，且其中
lsof -p ... | grep socket | wc -l占比超过70%，即可确认句柄耗尽主因是网络连接，而非日志或配置文件 - 对fd类型做分类计数：
lsof -p ... | awk '{print $5}' | sort | uniq -c，若“IPv4”“IPv6”项远高于“REG”（普通文件），说明问题集中在连接层
行为态指标：关联上传任务与连接动作的因果链
在业务逻辑埋点，把“连接申请-使用-释放”变成可观测事件流：
- 在分块上传入口打点：
upload_chunk_start{task_id, block_no, conn_id}；在调用storage_close_connection()后打点：upload_chunk_end{task_id, block_no, status="success"} - 实时计算“已start但无end”的任务数，若该值随并发数线性增长，说明连接释放逻辑被跳过或异常中断
- 捕获
get connection timeout错误日志并转为指标conn_pool_get_fail_total{reason="timeout", pool="storage"}，该指标突增往往早于fd耗尽1–2分钟，是关键预警信号
三类指标需统一时间戳对齐，用Prometheus+Grafana搭建看板，设置两级告警：一级（黄）为CLOSE_WAIT > 100 或 fd使用率 > 80%；二级（红）为“upload_chunk_start - upload_chunk_end”差值 > 50 且持续30秒。这样就能在句柄锁死前2–3分钟精准定位泄漏源头，而不是等系统报Too many open files才开始排查。
