apache日志切割后文件名动态变化，filebeat需通过filestream输入、close_inactive与close_renamed参数配合通配路径自动发现新文件，或结合logrotate的postrotate重载机制实现无缝衔接。
Apache 日志切割后，文件名动态变化（如 access_%Y%m%d.log 或按大小生成的 access_log.20260820-103000），这对 Filebeat、Fluentd 等日志收集 Agent 构成挑战——它们默认基于固定路径或文件名匹配，无法自动识别新轮转出的文件。要实现“切割即同步”，关键不是等切割完成再扫描，而是让 Agent 始终盯住正在写入的活跃日志流，并利用 Apache 的管道机制与轮转逻辑协同。
用 rotatelogs + Filebeat 的 inotify 模式监听管道输出
rotatelogs 本质是接收标准输入并写入新文件，它本身不重命名旧文件，而是直接切换写入目标。Filebeat 的 filestream 输入支持 symlink 和 inotify 实时捕获，但更稳妥的做法是绕过文件轮转感知，直接采集 rotatelogs 的输入源：
- 将 Apache 的
CustomLog改为输出到一个命名管道（FIFO）或临时缓冲文件，再由 rotatelogs 读取并切分；但 Apache 不原生支持 FIFO 输出，所以推荐反向：让 Filebeat 直接读取 Apache 进程的标准错误/输出流（仅限调试场景）或使用exec输入调用tail -F跟踪最新切割文件 - 生产推荐：配置 Filebeat 使用
filestream类型，启用close_inactive: 5m和close_renamed: true，并设置通配路径如/var/log/httpd/daily/access_*.log；rotatelogs 每次新建文件都会触发 inotify 的IN_CREATE事件，Filebeat 自动发现并开始读取 - 注意：需确保
scan_frequency≤ 10s（默认10s），避免发现延迟；同时关闭close_eof，防止因日志写入暂停误关连接
logrotate + Filebeat 的 start_after 模式规避重名冲突
若采用外部 logrotate（更可控），其 create 和 dateext 会生成带时间戳的归档文件（如 access.log-20260820），此时 Filebeat 不应监控归档目录，而应聚焦正在写入的原始文件：
- logrotate 配置中添加
postrotate … systemctl reload filebeat … endscript，在切割后通知 Filebeat 重新加载配置，刷新文件句柄 - Filebeat 中为 Apache 日志定义
paths为["/var/log/httpd/access.log"]（即原始未切割名），并设置start_at: "end"和ignore_older: 24h；logrotate 的copytruncate操作会清空原文件但保留 inode，Filebeat 继续追加读取，无缝衔接 - 避免使用
rotate后删除原文件的方式，否则 Filebeat 会因文件消失触发removed状态而停止采集
Windows 下 rotatelogs.exe 与 Fluent Bit 的 tail 插件配合要点
Windows 环境中 rotatelogs.exe 默认使用 -l 参数以本地时区命名，文件名含 %Y-%m-%d，Fluent Bit 的 tail 输入支持 glob 模式：
- 配置 Fluent Bit：
[INPUT]类型tail，Path设为C:/Apache24/logs/access_*.log，启用Refresh_Interval 5和Key log - 必须关闭 rotatelogs 的
-l以外的冗余参数（如重复指定时区），防止文件名格式不稳定；建议统一用%Y%m%d格式，避免横杠导致 glob 匹配失败 - Fluent Bit 默认不追踪已读位置，需开启
DB参数（如DB /var/log/flb_apache.db）记录 offset，重启后从断点继续，避免重复发送
过滤噪音+打标提升同步有效性
实时同步的价值不仅在于“传得快”，更在于“传得准”。在采集端就做轻量过滤，能大幅降低后端处理压力：
- Apache 配置中用
SetEnvIf屏蔽探针和静态资源，使 rotatelogs 写出的日志本身更干净，Filebeat 无需额外解析过滤 - Filebeat 处理器中添加
drop_event删除status为 200 且url.path包含.js|.css|.png的日志行；或用add_fields注入service: apache-web、env: prod等标签，便于 ELK 中路由和聚合 - 对于高吞吐场景，启用 Filebeat 的
pipeline功能，将日志解析（如 grok %h %l %u %t “%r” %>s %b）下沉到采集端，减少网络传输体积
