c++如何实现一个带双缓冲区的异步高性能文件日志类【进阶】

千敏酱_2534

千敏酱_2534

2026-04-03

291人浏览

原创

直接用std::ofstream写日志会卡主线程,因磁盘I/O阻塞,频繁同步写入导致吞吐量骤降;双缓冲+异步线程可解:业务线程写入一缓冲区,日志线程刷另一缓冲区,通过std::atomic交换指针实现无锁切换。

c++如何实现一个带双缓冲区的异步高性能文件日志类【进阶】

为什么直接用 std::ofstream 写日志会卡主线程

因为磁盘 I/O 是阻塞的,哪怕只是 write() 一个 4KB 缓冲区,内核也可能把线程挂起几十微秒到几毫秒——尤其在高负载或机械盘上。而日志调用往往散落在业务逻辑各处(比如每处理一个请求就 log.info() 一次),频繁同步写入会让吞吐量断崖下跌。

双缓冲 + 异步线程是解法核心:一个缓冲区供业务线程写入(push_log()),另一个由日志线程刷盘(flush_to_file()),两者通过原子指针交换,避免锁竞争。

  • 别用 std::mutex 保护整个缓冲区——它会变成性能瓶颈
  • 别让业务线程等日志线程完成刷盘——必须无等待返回
  • 缓冲区大小建议设为 64 * 1024(64KB),太小导致频繁交换,太大增加内存占用和单次刷盘延迟

如何用 std::atomic 实现无锁双缓冲区切换

关键不是“两个数组”,而是两个指针指向当前可写/可刷的缓冲区。用 std::atomic<int></int> 或 std::atomic<bool></bool> 标记状态,但更稳妥的是用 std::atomic<char></char> 直接交换缓冲区地址。

示例片段(简化):

class AsyncLogger {
    char buf_a[65536];
    char buf_b[65536];
    std::atomic<char> current_buf{buf_a};
    std::atomic<char> next_buf{buf_b};
    std::atomic<size_t> used{0};
<pre class="brush:php;toolbar:false;">void push(const char* msg, size_t len) {
    char* b = current_buf.load();
    size_t u = used.load();
    if (u + len <p>};</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/gongju/2823" title="C++14"><img
														src="https://img.php.cn/upload/manual/001/431/639/6ac8b33c327c4749.png" alt="C++14" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/gongju/2823" title="C++14" class="overflowclass">C++14</a>
													<p class="overflowclass">C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。</p>
												</div>
												<a rel="nofollow" href="/xiazai/gongju/2823" title="C++14" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div>
  • 交换前必须确保 used 已更新,否则新缓冲区可能覆盖未刷出的数据
  • 不能用 std::atomic<char></char> —— 数组类型不可原子化
  • 交换操作本身要轻量,exchange() 是硬件级原子指令,比 compare_exchange_weak 更适合这种“强制换”的场景

异步线程如何安全刷盘而不丢日志

日志线程不能简单地“每隔 10ms 刷一次”,必须响应缓冲区满、显式 flush() 请求、以及程序退出信号。否则在崩溃前最后一段日志就丢了。

  • 用 std::condition_variable + std::mutex 唤醒刷盘线程,但只用于通知“有数据可刷”,不用于保护缓冲区内容
  • 刷盘前先调用 fflush(fp),再调用 fsync(fileno(fp))(Linux/macOS)或 _commit(_fileno(fp))(Windows),否则数据可能卡在 libc 缓冲区或页缓存里
  • 记录刷盘偏移量(off_t)而非缓冲区索引,避免因换行符位置变化导致日志错位
  • 如果 fwrite() 返回值小于预期长度,说明磁盘已满或权限不足——此时应降级到 stderr 输出错误,并停止写入该文件

实际部署时最容易被忽略的三个细节

很多实现能跑通测试,但上线后出问题,往往栽在这三点:

  • open() 文件时漏掉 O_CLOEXEC(Linux)或 FILE_FLAG_NO_BUFFERING(Windows)——子进程继承句柄后可能干扰日志文件,或绕过系统缓存导致性能反降
  • 没处理 SIGPIPE 信号:当日志文件被外部 rm 或 logrotate 切走,write() 会触发该信号,默认终止进程
  • 时间戳格式用 std::chrono::system_clock::now() 而非 clock_gettime(CLOCK_MONOTONIC, ...) ——系统时间被 NTP 调整时,日志时间会倒流或跳变

双缓冲的本质是用确定的内存开销换不确定的 I/O 延迟,但它不会自动解决磁盘满、权限错、路径不存在这些底层问题——这些必须在初始化阶段做预检,而不是等到第一条日志写入时才暴露。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

359

31

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4198

6

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.26

3239

3

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.27

2798

6

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

2023.08.01

1488

3

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2579

5

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.08

3290

4

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

1617

3

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2023.08.28

2497

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习