要精准分析进程网络调用延迟,需用strace -e trace=network -T -tt -p PID捕获每次sendto/recvfrom/connect等调用真实耗时(微秒级),-T不可省略;配合-grep或awk实时告警超阈值延迟,并导出日志用脚本统计P95等分布。

要精准查看某个进程在处理网络相关系统调用时的延迟分布,不能只看平均值,必须捕获每次 sendto、recvfrom、connect 等调用的真实耗时,并排除非网络调用的干扰。
筛选并追踪网络系统调用
使用 -e trace=network 限定 strace 只监控网络类系统调用,避免日志被大量文件或信号调用淹没。
执行:sudo strace -e trace=network -T -tt -p 1123 2>&1 | head -50
【-T 参数不可省略】 它会在每行末尾显示该次系统调用实际消耗的微秒数,这是定位网络延迟的唯一原始依据。不加 -T 就无法知道某次 connect 是花了 3ms 还是 3000ms。
注意:若进程已以非 root 用户启动,且未开启 CAP_NET_RAW 能力,附加 strace 可能失败,此时需先确认权限或改用 sudo。
导出带时间戳的完整网络调用日志
将所有网络调用及其耗时持久化保存,便于后续用脚本分析延迟分布。
执行:sudo strace -e trace=network -T -tt -f -o /tmp/net_trace_$(date +%s).log -p 1123
该命令会持续记录直到手动中断(Ctrl+C)。-f 参数确保子进程发起的网络调用也被捕获,例如 Nginx worker fork 出的子进程若调用 connect,不加 -f 就会漏掉。
日志中每行格式为:18:02:15.123456 connect(3, {sa_family=AF_INET, sin_port=htons(80), ...}, 16) = 0 ,其中 即本次调用耗时 2.134 毫秒。
提取并统计网络调用延迟
从日志中抽取所有尖括号内的耗时数值,转换为毫秒并排序分析。
第一步:提取所有耗时字段(单位秒,保留六位小数)grep -o ']*>' /tmp/net_trace_*.log | tr -d '' | awk '{printf "%.3f\n", $1*1000}' > /tmp/latency_ms.txt
第二步:统计延迟分布sort -n /tmp/latency_ms.txt | awk 'BEGIN{c=0;sum=0}{c++;sum+=$1} END{print "count:",c,"avg(ms):",sum/c,"p95(ms):",c*0.95|getline p95; NR==int(p95){print $1}}'
这一步直接输出总调用次数、平均延迟和 P95 延迟值。P95 能暴露偶发长延时问题——比如平均仅 2ms,但 P95 达到 120ms,说明有 5% 的请求遭遇严重阻塞。
实时观察高延迟网络调用
当需要立刻响应异常,跳过日志写入环节,直接在终端高亮显示耗时超阈值的调用。
方法一:用 grep 高亮超过 50ms 的调用sudo strace -e trace=network -T -tt -p 1123 2>&1 | grep --line-buffered -E ''
方法二:用 awk 实时计算并告警sudo strace -e trace=network -T -tt -p 1123 2>&1 | awk -F'[]' '/{if($2>0.05) print "⚠ HIGH LATENCY:", $0}'
该命令中 $2>0.05 表示耗时超过 50 毫秒即触发告警。注意 strace 输出默认带缓冲,加 2>&1 和 --line-buffered 可保证每行实时输出,否则可能卡住数秒才刷出一批。











