C++如何实现简单的非阻塞任务队列(Lock-free)

夜敏同学_5282

夜敏同学_5282

2026-06-19

586人浏览

原创

不能直接用std::queue做lock-free队列,因为它底层非原子、不支持整体原子化,且含多成员需同步;必须基于std::atomic指针+单链表节点手动实现,并解决aba、内存回收等核心问题。

c++如何实现简单的非阻塞任务队列(lock-free)

为什么不能直接用 std::queue 做 lock-free 队列

因为 std::queue 底层依赖 std::deque 或 std::list,所有插入/删除操作都不是原子的,且内部有多个成员变量(如头尾指针、size 等)需要同步。即使你用 std::atomic 包裹整个对象,C++ 也不允许对非平凡类型做整体原子操作——编译会直接报错:error: use of deleted function 'std::atomic<:queue>>::atomic()'</:queue>。

真正可行的起点是:从原子指针 + 单链表节点出发,自己管理内存生命周期。

用 std::atomic + 单链表实现基础无锁入队/出队

核心结构是一个带 next 指针的节点,头尾用 std::atomic<node></node> 维护。注意:仅靠 compare_exchange_weak 不足以保证线程安全,必须处理 ABA 问题(尤其在出队时)。

  • 入队(push)只需 CAS 更新尾指针,但要先确保尾节点的 next 为空,再挂上新节点,最后移动尾指针——这至少需要两次 CAS
  • 出队(pop)必须同时读取头节点和它的 next,再用一次双字 CAS(std::atomic<:pair node>></:pair> 不行,得用 std::atomic<uint64_t></uint64_t> 手动打包指针+版本号)
  • 不回收内存?那会内存泄漏;直接 delete?可能有其他线程正读这个节点。必须用 Hazard Pointer 或 RCU,但最简方案是用 std::shared_ptr ——虽然它本身不是 lock-free,但能避免悬空指针

示例关键片段(无内存回收):

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
struct Node {
    T data;
    std::atomic<node> next{nullptr};
};
<p>std::atomic<node>> head{nullptr};
std::atomic<node>> tail{nullptr};</node></node></p>
<p>void push(T val) {
Node<em> n = new Node{val};
Node</em> t;
do {
t = tail.load();
Node* t_next = t->next.load();
if (t == tail.load()) {
if (!t_next) { // t 是真正的尾
if (t->next.compare_exchange_weak(t_next, n))
break;
} else {
tail.compare_exchange_weak(t, t_next); // 推进 tail
}
}
} while (true);
tail.compare_exchange_weak(t, n);
}</p></node>

为什么 boost::lockfree::queue 更靠谱但仍有约束

它底层用的是 Michael-Scott 算法,已处理 ABA 和内存重用问题,但要求元素类型满足 is_trivially_destructible,且默认固定容量(循环数组实现)。如果你传入 std::string 或含虚函数的对象,编译失败信息会指向 static_assert 失败,而不是运行时报错。

  • 动态扩容?不支持。得初始化时指定最大大小,比如 boost::lockfree::queue<int>(1024)</int>
  • 想用堆内存自动管理?不行。它只支持 trivial 类型,否则析构逻辑无法在无锁上下文中安全执行
  • 性能敏感场景下,它的 CAS 热点集中在 tail 指针,高并发 push 可能比 mutex 版本还慢(因大量失败重试)

实际项目中更推荐的折中方案

真需要吞吐量又不想掉坑,与其手写 lock-free 队列,不如用带细粒度锁的「多生产者单消费者」(MPSC)队列,比如 moodycamel::ConcurrentQueue。它用分离的生产者环形缓冲区 + 全局消费索引,大部分 push 是无锁的,pop 也只锁一次。

  • 支持任意可拷贝类型,包括 std::vector、std::function
  • 没有固定容量限制(可配置增长策略),也无需手动管理内存
  • 比纯 lock-free 实现更容易调试——比如 enqueue 失败会返回 false,而不是静默丢任务

真正难的从来不是“怎么写 CAS”,而是“怎么让所有线程在任意中断点下都看到一致的中间状态”。哪怕只漏掉一个内存序(memory_order_relaxed 用错位置),行为就不可预测。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

2248

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

1019

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

427

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

327

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

406

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

580

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1409

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

1217

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1325

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习