怎么在Linux下追踪C++多线程的系统调用耗时

胖宇大大_3882

胖宇大大_3882

2026-08-23

605人浏览

原创

strace -p 在多线程下不可信,因其依赖 ptrace 导致调度紊乱、阻塞调用耗时失真、输出混杂无序、高频率下自身成瓶颈,且默认不区分线程;应改用 perf trace 结合 perf record 定位真实锁争用与调用栈。

怎么在linux下追踪c++多线程的系统调用耗时

不能用 strace -p 直接 attach 进程并指望它准确反映多线程系统调用耗时——它会严重干扰调度、掩盖真实行为,且默认不区分线程粒度。

为什么 strace 在多线程下不可信

strace 依赖 ptrace,每次系统调用都会强制目标线程暂停、切到 strace 进程处理,再切回。这导致:

  • 线程调度被完全打乱,FUTEX_WAIT 等阻塞调用的等待时间被大幅拉长,误判为“锁卡死”
  • 多个线程并发触发同一类系统调用(如 write)时,strace 输出混杂无序,无法对齐时间戳
  • 高频率调用(如每微秒一次 gettimeofday)会让 strace 自身成为瓶颈,甚至拖垮目标进程
  • 默认不记录线程 ID(LWP),-f 选项虽能跟踪子线程,但输出仍按事件顺序平铺,无法按线程聚合分析

用 perf trace 精确捕获每个线程的 futex 和 I/O 耗时

真正可行的方式是用 perf trace,它基于内核 tracepoint,开销极低(通常

  • 只跟踪关键系统调用:避免全量捕获带来的噪音和磁盘压力
    perf trace -e 'syscalls:sys_enter_futex,syscalls:sys_enter_read,syscalls:sys_enter_write' -t -p <pid></pid>
  • -t 是必须的:启用线程 ID(LWP)标记,输出中每行带 [tid] 前缀
  • 关注 futexvaltimeout 字段:
    val=1 表示进入 FUTEX_WAIT
    timeout != 0 且持续 >100μs,基本确认锁争用
  • read/write,注意看返回值:
    • 返回 -1errno=11 (EAGAIN) 是非阻塞 I/O 正常行为;
    • 返回 -1errno=4 (EINTR) 可能被信号打断,需重试逻辑检查

配合 perf record 定位系统调用在调用栈中的位置

知道哪个线程在调什么还不够,得知道是哪段 C++ 代码触发的——perf record 能把系统调用和用户态栈关联起来。

Linux Desktop Control
Linux Desktop Control

Linux 桌面自动化与控制。适用于以下场景:(1)截取屏幕或窗口的截图,(2)控制鼠标和键盘,(3)管理窗口,(4……

下载
  • 启用调用图并过滤系统调用事件:
    perf record -g -e 'syscalls:sys_enter_futex,syscalls:sys_enter_write' -t -p <pid> sleep 5</pid>
  • 生成带上下文的报告:
    perf script | grep -A 5 'futex' 查看紧邻的 C++ 函数名
  • 关键点:编译时必须带 -g,且避免过度优化(如 -O2 可能内联掉栈帧),推荐用 -Og -g
  • 若看到大量 std::mutex::lock__lll_lock_waitsys_enter_futex 链路,说明锁竞争发生在用户代码层,不是内核问题

别忽略 /proc//status 里的 Threads 字段

系统调用耗时异常,有时根本不是代码问题,而是线程数失控导致内核调度压力激增。

  • 实时检查当前线程总数:
    grep Threads /proc/<pid>/status</pid> —— 若数值远超预期(比如设计为 8 线程,却显示 200+),先查 std::thread 是否泄漏或未 join()/detach()
  • 对比 perf stat -t -p <pid></pid> 输出中的 context-switches:如果每秒上下文切换 >10k,且 Threads 数值高,大概率是线程爆炸引发的内核调度抖动,而非单个系统调用慢
  • 容器环境同样适用该路径,只要 procfs 挂载正常(默认都挂载)

最易被忽略的是:系统调用耗时升高,常常不是因为 readfutex 本身变慢,而是线程数过多导致内核栈分配竞争、TLB 刷新加剧、缓存行伪共享恶化——这些都不会直接出现在 straceperf trace 的单行输出里,必须结合 /proc/<pid>/status</pid>perf stat -e cache-misses 交叉验证。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

2068

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

939

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

367

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

307

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

346

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

560

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1389

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

1177

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1305

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

CLion 远程开发实战
CLion 远程开发实战

共0课时 | 0人学习