c++如何读取正在被写入的日志文件_流式跟踪实现【进阶】

酷宇大大_7566

酷宇大大_7566

2026-03-20

893人浏览

原创

应结合stat检查文件大小变化与增量偏移管理读取追加日志:每次读前stat获st_size,对比上次偏移只读新增字节;轮转时st_size缩小则重置偏移为0;linux用inotify监听但需stat补差值,windows用readdirectorychangesw并注意共享模式与缓冲区大小。

c++如何读取正在被写入的日志文件_流式跟踪实现【进阶】

用 fopen + fseek 持续读取追加写入的日志文件,会卡住或跳过新内容

日志文件被其他进程持续 fwrite 或 fprintf 追加时,C++ 程序若用传统方式打开后反复 fseek(fp, 0, SEEK_END) 再读,大概率读不到最新行——因为文件系统缓存、POSIX 文件偏移未同步、或写入方没刷缓冲区(fflush)。

关键不是“怎么打开”,而是“怎么感知变化并安全读取”。必须结合 stat 检查文件大小变化 + 增量偏移管理,不能依赖 feof 或固定循环次数。

  • 每次读前先 stat 获取当前 st_size,和上次记录的偏移比较;只读新增字节,不重读也不跳过
  • 读完立即更新偏移值,哪怕只读到半行(比如最后一行没换行符),也要保留该位置,下次从这里继续
  • 遇到 st_size 缩小(日志轮转),要重置偏移为 0 并重新 fseek(fp, 0, SEEK_SET),否则会读错乱数据

Linux 下用 inotify 替代轮询,避免空耗 CPU 但要注意事件丢失

inotify 能监听 IN_MODIFY 或 IN_MOVED_TO(轮转场景),比每秒 stat 高效得多,但默认事件队列只有 16384 字节,高频写入时容易丢事件。

真正要用起来,得主动处理边界情况:

  • 监听前先 stat 一次获取初始大小,作为起始偏移;否则 inotify 只通知“变了”,不知道变了多少
  • 收到 IN_MODIFY 后,仍需 stat 查大小差值,再从记录偏移处读——inotify 不告诉改了哪几字节
  • 如果监听句柄失效(read 返回 -1 且 errno == EINVAL),说明队列溢出,必须重建监听并回退到全量 stat 轮询逻辑兜底

Windows 上用 CreateFile + ReadDirectoryChangesW 读日志,路径权限和共享模式很关键

Windows 没有等价于 inotify 的轻量机制,ReadDirectoryChangesW 是唯一可行方案,但它监听的是目录,不是单个文件,而且对目标文件的打开方式极其敏感。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

常见失败原因都卡在打开参数上:

  • 日志写入方用 CREATE_ALWAYS 或没设 FILE_SHARE_READ,你的程序用 CreateFile 就会返回 INVALID_HANDLE_VALUE
  • 必须用 FILE_FLAG_BACKUP_SEMANTICS 才能对文件夹调用 ReadDirectoryChangesW,否则直接失败
  • 事件缓冲区太小(lpBuffer 小于 1KB)会导致 ERROR_NOTIFY_ENUM_DIR,建议至少分配 8KB

收到变更通知后,仍要靠 GetFileSize 对比偏移读新内容,和 Linux 逻辑一致——通知只是触发信号,不携带增量信息。

跨平台封装时,std::ifstream 的 seekg 和 peek 容易误判 EOF

有人试图用 std::ifstream 配合 seekg 和 peek 实现流式读,结果发现 peek() 返回 EOF 后,即使文件已增长,后续 read 仍失败。这不是 bug,是 C++ 标准库流状态位没清。

必须手动干预状态机:

  • 每次 peek() 返回 std::char_traits<char>::eof()</char> 后,立刻调用 file.clear() 清除 failbit 和 eofbit
  • seekg 到新位置后,不能直接 >> 或 getline,要先 file.peek() 确认可读,否则可能因底层缓冲未刷新而阻塞
  • 不要用 while (file >> ...),它依赖格式化提取,遇到空格/换行就停;应改用 std::getline(file, line) 配合 file.fail() 判断是否真出错

最麻烦的其实是编码:日志可能是 UTF-8、GBK 或无 BOM 的 ANSI,std::ifstream 默认按 locale 解码,读中文会乱码。除非明确知道日志编码,否则优先用 std::fstream 以二进制模式读,自己处理换行和解码。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.25

334

5

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.26

3139

3

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.27

2698

6

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

2023.08.01

1468

3

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2479

5

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.08

3250

4

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

1557

3

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2023.08.28

2437

4

windows锁屏快捷键
windows锁屏快捷键

windows锁屏快捷键是Windows键+L、Ctrl+Alt+Del、Windows键+D、Windows键+P和Windows键+R。本专题为大家提供windows相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.30

4627

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习