C++无锁队列lock-free queue怎么实现

畫卷琴夢

畫卷琴夢

2026-08-04

492人浏览

原创

绝大多数项目不该手写lock-free queue,因其涉及内存序、aba问题、生命周期管理等复杂约束,易在高争用下暴露隐蔽缺陷;推荐使用经工业验证的moodycamel::concurrentqueue,或低吞吐场景直接用std::queue+mutex。

c++无锁队列lock-free queue怎么实现

为什么直接手写 lock-free queue 是高风险操作

绝大多数项目不需要、也不该自己实现 lock-free queue。它不是“加个 std::atomic 就行”的事情,而是涉及内存序(memory_order)、ABA 问题、节点生命周期管理、缓存行对齐、甚至硬件原子指令边界等一整套协同约束。真实场景中,一个看似工作的实现,在多核高争用下可能在几小时后才暴露出数据丢失或死锁——而且难以复现。

除非你:正在开发高性能基础设施(如自研消息中间件)、有多年并发编程经验、且已用 ThreadSanitizer + TSAN + herbgrind 等工具做过严格验证,否则请跳过手写环节。

moodycamel::ConcurrentQueue 替代手写的现实路径

这是目前 C++ 生态中最成熟、被广泛验证的无锁队列实现,支持单/多生产者、单/多消费者任意组合,底层用 std::atomic + memory_order 组合规避 ABA,并内置内存回收机制(BlockPool)。它不是“玩具”,而是被 follySeastar 等项目实际采用的组件。

  • 安装只需复制头文件(concurrentqueue.h),无依赖
  • 构造时指定是否启用 explicit memory ordering(默认安全)
  • 注意:不提供 size() 的强一致性保证——返回的是近似值,用于监控可以,用于逻辑判断会出错
  • 避免在析构期间仍有线程调用 enqueue()dequeue(),否则触发未定义行为

std::queue + std::mutex 什么时候反而更合适

如果你的队列吞吐量不高(比如每秒 std::queue 加一把 std::mutex 不仅代码清晰,性能也未必差——现代 mutex 在无争用时开销极低(futex 快路径),且调试、堆栈追踪、死锁检测都远比 lock-free 友好。

C函数速查手册(CHM版)
C函数速查手册(CHM版)

C函数速查手册(CHM版)

下载

典型误判场景:

  • 看到 “lock-free” 就以为“一定更快” → 实际在低并发下,mutex 的 cache locality 更优
  • 认为“用了 atomic 就是 lock-free” → 单个 std::atomic<int></int> 是 lock-free,但整个队列结构不是
  • 忽略内存回收:无锁结构中被 dequeue 的节点不能立即 delete,必须等所有线程确认不再访问它——这需要 Hazard PointerRCU 等机制,不是加个 shared_ptr 就能解决

真要手写,从 Michael-Scott 队列开始理解边界

学术上最常被引用的无锁队列模型是 Michael-Scott(1998),它只支持单生产者/单消费者(SPSC),且假设指针宽度足够存放 tag(用于 ABA 防御)。它的核心是两个原子指针:headtail,通过 CAS 循环推进。

但即使这个“最简”版本,也有几个硬伤必须处理:

  • tail 指针推进时需检查是否已到达尾节点的 next,否则会跳过新节点
  • 节点释放必须延迟:哪怕只用 std::atomic_thread_fence,也得确保其他线程不会解引用已释放内存
  • x86 下 memory_order_relaxed 可能被重排,至少要 memory_order_acquire / memory_order_release 配对
  • ARM/AArch64 对 memory_order_seq_cst 的代价更高,不能无脑照搬 x86 写法

真正上线前,必须在目标 CPU 架构上跑满 72 小时以上压力测试,并用 libatraceperf record -e mem-loads,mem-stores 观察 false sharing 是否发生——而这点,连很多开源实现都疏忽了。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

834

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

753

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

244

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

242

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

224

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

463

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1130

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

860

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1028

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
RabbitMQ 教程手册
RabbitMQ 教程手册

共0课时 | 0人学习

Linux man-pages 项目
Linux man-pages 项目

共0课时 | 0人学习

C# 教程
C# 教程

共94课时 | 20.2万人学习