c++ 异步日志实现 c++如何设计一个高性能的异步日志系统

酷墨同学_1936

酷墨同学_1936

2026-03-28

769人浏览

原创

std::async 不适合做日志后端,因其每次调用可能触发线程创建/销毁或调度争抢,策略不可控且无法满足高频低延迟需求;应采用无锁环形队列+单消费者线程方案。

c++ 异步日志实现 c++如何设计一个高性能的异步日志系统

为什么 std::async 不适合做日志后端

直接用 std::async 每次记一条日志,性能会断崖式下跌——它每次调用都可能触发线程创建/销毁,或陷入调度争抢。真实场景里,日志写入频率高、延迟敏感,而 std::async 的策略不可控(std::launch::deferred 还可能同步执行),根本没法压测达标。

  • 别把 std::async 当线程池用;它不是为高频短任务设计的
  • 日志线程应长期存活,避免反复初始化锁、缓冲区、文件句柄
  • 如果用 std::async + std::future::wait_for 做超时控制,反而增加调度开销和丢日志风险

用无锁环形队列 + 单消费者线程是最小可靠方案

核心是让日志前端(业务线程)只做内存拷贝+原子入队,后端(专用线程)串行刷盘。环形队列必须无锁,否则多生产者一竞争,std::mutex 就成瓶颈。

  • 推荐用 moodycamel::ConcurrentQueue(注意:它不是完全无锁,但对日志场景足够快且成熟)
  • 自研环形队列时,务必用 std::atomic<uint32_t></uint32_t> 管理读写索引,避免 ABA 问题;别用 volatile 代替原子操作
  • 队列长度建议设为 2^n(如 8192),方便位运算取模,避免除法指令拖慢入队路径
  • 每条日志记录建议预分配固定大小结构体(含时间戳、level、tid、长度、内容缓冲),避免后端 malloc 带来不确定性

writev 比反复 write 快 3–5 倍,但要注意 iovec 数量限制

日志拼接好之后,别逐字段 write,用 writev 一次性提交多个分散内存块。系统调用次数下降,上下文切换锐减。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • Linux 默认单次 writev 最多支持 1024 个 iovec,但实际建议控制在 64 以内,避免内核处理过载
  • 如果日志格式含前缀(如时间戳+线程ID)、内容、换行符,正好拆成 3 个 iovec,比 memcpy 合并再 write 更省内存带宽
  • 使用 O_APPEND 标志打开日志文件,否则多进程写同一文件时需额外加锁,异步意义全失
  • 别忘了调用 fsync 或 fdatasync —— 但只在 LOG_LEVEL_ERROR 或配置了 flush_on_every_log 时才用,否则吞吐归零

如何安全地替换日志文件(比如按天滚动)

滚动不是简单 rename 旧文件再 fopen 新文件——正在写的 FILE* 或 fd 仍指向原 inode,新写入会继续进旧文件,导致“看似滚动成功,实则日志分裂”。

  • 必须用 dup2 替换当前日志 fd:先 open 新文件得新 fd,再 dup2(new_fd, old_fd),最后 close(new_fd)
  • 替换过程要加轻量级自旋锁(如 std::atomic_flag),防止多个线程同时触发滚动逻辑错乱
  • 旧文件不能立刻 unlink,得等后端线程确认本次 flush 完成后再清理,否则可能丢失最后几条
  • 滚动判断别依赖 localtime(锁重、慢),改用 time(nullptr) + 缓存当日起始时间戳做比较

真正难的不是并发写,而是滚动时的原子性、fd 生命周期管理、以及磁盘满/权限失败等异常下的降级策略——这些地方一漏,线上就静默丢日志。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

2025.06.09

4234

18

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

2025.07.04

4371

25

c++中volatile关键字的作用
c++中volatile关键字的作用

本专题整合了c++中volatile关键字的相关内容,阅读专题下面的文章了解更多详细内容。

2025.10.23

694

12

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

3738

6

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

3810

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3273

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2393

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

5770

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

5422

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习