C++实现异步日志的锁无关设计 _ 环形缓冲区与内存屏障技巧【实战】

千强君_2154

千强君_2154

2026-05-03

875人浏览

原创

std::queue不能直接当环形缓冲区用,因其底层std::deque内存不连续、不支持指针算术和零拷贝,无原子索引接口,多线程下size()不可靠且push/pop含隐藏锁或重分配;替代方案需固定容量、连续内存、2的幂大小、原子索引及严格内存序。

c++实现异步日志的锁无关设计 _ 环形缓冲区与内存屏障技巧【实战】

为什么 std::queue 不能直接当环形缓冲区用

因为 std::queue 底层默认是 std::deque,内存不连续,没法做指针算术、零拷贝读写,也没法暴露连续内存给 writev 或日志批量刷盘;更关键的是它没提供原子读写索引接口,多线程下 size() 返回值不可靠,push()/pop() 内部有隐藏锁或重分配逻辑,违背“无锁”初衷。

常见错误现象:segmentation fault 出现在高并发日志写入后,其实是 std::deque 迭代器失效或跨段拷贝未对齐;或者日志条目被覆盖但没报错,因为满/空判断逻辑和底层存储脱节。

替代方案必须满足:固定容量、连续内存、可预测延迟、支持位运算索引。优先选 std::array(编译期大小)或 std::unique_ptr<char></char>(运行时大小),别碰 std::vector —— resize() 可能触发重新分配,导致正在读写的指针悬空。

SPSC 场景下怎么写一个真正无锁的 RingBuffer

单生产者(日志调用线程)+ 单消费者(日志刷盘线程)是最常见也最易优化的场景。此时无需 CAS,只需两个 std::atomic<size_t></size_t> 索引 + 合理内存序即可。

关键约束条件:

  • 缓冲区容量必须是 2 的幂(如 1024),用 index & (capacity - 1) 替代 index % capacity,避免除法和分支
  • 缓冲区需 alignas(64) 对齐,防止伪共享(false sharing)——否则多个原子变量挤在同一缓存行,性能掉一截
  • 写端流程:先 load(std::memory_order_relaxed) 当前写位置 → 判断是否满 → 拷贝数据到对应槽位 → store(std::memory_order_release) 更新写指针
  • 读端对称:先 load(std::memory_order_acquire) 当前读位置 → 拷贝数据 → store(std::memory_order_release) 更新读指针
  • 判空/判满用差值:空为 read_idx_ == write_idx_,满为 (write_idx_ - read_idx_) >= capacity - 1(留 1 位防歧义)

注意:std::memory_order_relaxed 仅用于本地索引快照,不能省略 acquire/release —— 它们确保数据写入对消费者真正可见,否则可能读到未初始化内存。

日志消息怎么进缓冲区才不拖慢业务线程

主线程调用 log() 时,绝不能做字符串格式化、std::string 构造、堆分配或系统调用。所有耗时操作必须移交日志线程。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

实操建议:

  • 日志接口接收参数包(template<typename... args></typename...>),用 std::format(C++20)或轻量格式化库(如 fmtlib)在日志线程中完成格式化
  • 缓冲区元素类型推荐 struct LogEntry { uint64_t ts; uint8_t level; char data[512]; }; —— 避免含非平凡构造函数的类型(如 std::string),否则需手动 placement new / destructor
  • 生产者只做一次 memcpy:把格式化前的原始参数 + 元信息打包进缓冲区,由消费者解包并格式化
  • 若必须传字符串,用 std::string_view + 外部生命周期管理(如日志线程持有临时池),或直接存 const char* + 长度(要求调用方保证 buffer 在本次 push 后至少存活到刷盘完成)

容易踩的坑:在 log() 里调用 std::time() 或 gettid(),这些系统调用会显著增加延迟;应改用线程局部存储(TLS)缓存时间戳,或由日志线程统一打时间戳。

多生产者场景下如何避免 ABA 问题

当多个业务线程同时调用 log(),就变成多生产者单消费者(MPSC)。此时多个线程竞争更新同一个 write_idx_,纯 store 不再安全,必须用 CAS。

典型做法是把索引和版本号打包进一个 std::atomic<uint64_t></uint64_t>:

  • 低 32 位存写位置,高 32 位存 epoch(每次成功写入递增)
  • 写入前 load 当前值,拆出位置和版本,计算新位置和新版本
  • 用 compare_exchange_weak 原子更新整个 64 位值;失败则重试
  • 避免用单独的 std::atomic<size_t></size_t> + CAS —— 中间可能被其他线程修改又改回原值(ABA),导致误判

性能影响:CAS 循环在争抢激烈时会有重试开销,但相比互斥锁仍低得多;如果业务线程数可控(≤8),也可为每个线程分配独立的 SPSC 子队列,最后由日志线程合并消费——这反而更稳定,且规避了 ABA。

真正复杂的地方不在代码长度,而在内存序选择和生命周期管理:日志消息从构造、入队、格式化到落盘,每一步的内存可见性都得对齐;而最容易被忽略的,是调用方对 const char* 或 std::string_view 的生命周期承诺——一旦提前释放,日志线程读到的就是野指针。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

2228

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

999

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

427

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

327

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

406

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

580

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1389

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

1197

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1325

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习